README.md

말랑뉴스: 딱딱한 뉴스를 말랑말랑하게

길고 복잡한 뉴스 원문을 짧게 요약하고 주요 키워드를 질답 형태로 풀어 설명해주는 서비스입니다.
딱딱한 문장에서 다른 말투로 변경이 가능하며, 키워드에 대해 질문하는 정도를 조절 가능합니다.
어려운 단어가 많은 IT/과학 분야 또는 금융 분야에 특화해 Fine-tuning 되었습니다.
Team Notion
시연 영상

서비스 이용하기

$ pip install -r requirements.txt
$ streamlit run streamlit/malang_news.py

1. 원하는 뉴스의 URL 입력 (네이버 뉴스에 최적화)
2. Inference 기다리고 결과 받아보기

주의사항

• malang_news.py에 본인의 Huggingface API Key, OpenAI API Key를 입력해야 합니다.

API_TOKEN = "hf_xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" # Huggingface
API_KEY = "sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" # OpenAI

• 아직 모델을 불러오는 중이에요. 안내 문구 출력 시 조금 뒤 다시 시도
• 뉴스를 찾을 수 없어요. 안내 문구 출력 시 URL이 올바른지 확인

프로젝트 구조

Malang_news/
│
├── crawler/
|   ├── headline_crawler_final.py
|   ├── headline_crawler_onlybs.py
|   ├── newneek_crawler.ipynb
|   ├── news_crawler_final.py
|   └── 네이버뉴스_크롤링.ipynb
│
├── model/
│   ├── BART/
|   |   ├── KoBART_navernews.ipynb
|   |   ├── 생성요약_KoBART.ipynb
|   |   └── 추출요약_KoBART.ipynb
|   | 
│   ├── KeyBERT/
|   |   └── keyword_extract.ipynb
│   |
|   └── causalLM/
|       ├── GPTtrain.py
|       └── koalpaca_fine-tuning.ipynb
|
├── preprocessing/
|   ├── json2csv.ipynb
|   ├── newneek_preprocessing.ipynb
|   └── news_preprocessing_labeling.ipynb
|  
└── streamlit/
    ├── malang_news.py
    └── utils.py

Dataset

• 네이버뉴스 - 금융
• 네이버뉴스 IT/과학 헤드라인 뉴스
• Korean SmileStyle Dataset

Model

문서 요약

• KoBART

키워드 추출

• KeyBERT
• KoBERT

키워드 질답

• GPT3.5 turbo

말투 변환

• KoBART
• kobart-text-style-transfer

사용 기술 스택