[Python | Download] 자동 요약 봇 만들기! (Summarizer)

summaryText.py

0.00MB

 
최근 갤럭시S23 유저에게도 S24와 동일한 One UI 6.1 버전(AI 편의성 대폭 확대)의 은총이 내려지면서 저도 휴대폰에서 각종 AI기능을 이용해 볼 수 있는 기회가 생겼습니다
전체적인 기능은 며칠 더 지켜봐야겠으나.. 우선 손쉽게 체험할수 있었던 AI 기능은, 

① 이미지 회전시켜 마진 생겼을때 나머지 공간 자동으로 채워지는 기능과 (← 이거 아이디어 굿!)

② 실시간 통역기능, 그리고
③ 오늘 이야기 드려 볼 인터넷 페이지 글, AI 간단요약이었습니다.

 

이러한 기능들은 생산성 향상을 목적으로 회사에서도 점점 기능이 적용되고 있습니다 

이를테면, 딥러닝을 통한 의역(원문의 단어나 구절에 지나치게 얽매이지 않고 전체의 뜻을 살리는 번역) 서비스라던지, 날짜와 내용만 입력하면 메일초안을 작성해 준다던지, 받은 메일을 짧게 요약해서 보여주는 서비스 처럼.

 

저도 사실 아직까진 이 '자동 분석을 통한 요약글'이라는게 익숙하지도, 내가 직접 본문 다 읽고 이해한 것만큼 믿음직스럽지도 않지만.. 이건 마치 '네비게이션'이나 '자동주행 자동차'처럼 계속 확대 될 수 밖에 없는 개념이고,

변화라는 것은 늘 이렇게 어색하게 시작되어 점차 생활을 바꾸어 놓았던 것 같습니다

 

아무튼.. 오늘은 이 기능을 한번 사용해보도록 하겠습니다

깃헙에 찾아보니 파이썬 라이브러리와 관련 논문이 있고, GPT쪽으로도 API가 준비되어 있네요.

룰베이스, 생성형 서로 비교도 해볼 겸 양쪽 다 사용해 보겠습니다

- ① 우선, 텍스트 요약 알고리즘은 TextRank:Bringing Order into Texts라는 논문( https://aclanthology.org/W04-3252/ )에 기반하여 TextRank라는 그래프 기반의 랭킹 모델을 만드는데, 사람들이 하이퍼링크를 얼마나 타고 갔느냐에 따라 연관단어로써의 가중치를 주는 방식(voting)이라고 합니다. 오~ 참신해요. (관련 라이브러리를 설치해봅시다 - pip install gensim)
 
- ② 두번째 GPT입니다. 이건 생성형 AI를 통해 요약할 원문 text를 몽땅 전달한뒤 마지막에 "이 모든 것을 요약해줘!" 프롬프트를 추가하여 요청하는 방식입니다. 오리지날 GPT API는 유료 전환이 되었으므로 카카오에서 제공하는 KoGPT API를 사용하겠습니다.

저는 순진하게도.. KoGPT 불러오는 코드 짜보면서 '혹시, GPT쪽 결과가 너무 좋게 나와서 텍스트 요약 알고리즘(gensim summarize) 쓰는 의미가 없어지면 어쩌지' 잠깐 고민도 했었는데..

 
뭐가 문제인건지, 실행해보면 어디로 튈지 모르는 엉뚱한 답변이 곧잘 나오네요

실행 결과를 잠깐 볼까요. 원문은 링크 글(반도체 강의 대본 : topnanis.tistory.com/246 )을 사용했습니다

보통 API는 무분별한 사용(트래픽)을 막기 위해 Key를 발급하고, 사용량을 제한합니다.

KoAPI사용하기 위해서도 키 하나를 발급받아서 소스에 넣어줍니다. 
이용방법 : https://developers.kakao.com/docs/latest/ko/kogpt/common

이 기회를 통해 DAUM시절부터 티스토리, API 등 항상 개발자 편의를 고민해주시는 KAKAO에 감사의 말씀을 전합니다

 

(혹시나 성능좋은 Open AI사의 오리지널 Chat GPT API 따로 쓰시려는 분은 우선, 유료결제 하신 뒤  https://platform.openai.com/settings/profile?tab=api-keys 가셔서 Key 받고 https://platform.openai.com/docs/api-reference/introduction 예제 참고해주시면 됩니다. 저는 키넣고 실행했는데 자꾸 에러가 나길래 이거 뭐가문제지 뭐가문제지 한참 했는데.. 알고보니 '가난'이 문제였음..)
 
*참고사항 : Summarize 함수에는 Ratio 라는 Parameter를 지원해줘서.. 본문의 내용을 얼마나 축소할껀지, 압축률? 지정이 가능합니다

▼ 예 : 본문 텍스트(string NewsFeed) 10프로 요약시

summarize(NewsFeed,ratio=0.1)  

▼ 파이썬 소스입니다 (혹시 KoGPT는 실행이 안되더라도 Summarize 출력는 확인할 수 있습니다) 

 

from newspaper import Article

from summa.summarizer import summarize

from sumy.summarizers.lex_rank import LexRankSummarizer

from sumy.nlp.tokenizers import Tokenizer

from sumy.parsers.plaintext import PlaintextParser

import os

# REST API 호출에 필요한 라이브러리

import requests

import json

#카카오GPT모듈

REST_API_KEY = '여기에 발급받은 API Key를 넣어주세요'

# KoGPT API 호출을 위한 메서드 선언

# 각 파라미터 기본값으로 설정

def kogpt_api(prompt, max_tokens = 1, temperature = 0.1, top_p = 0.5, n = 1):

    r = requests.post(

        'https://api.kakaobrain.com/v1/inference/kogpt/generation',

        json = {

            'prompt': prompt,

            'max_tokens': max_tokens,

            'temperature': temperature,

            'top_p': top_p,

            'n': n

        },

        headers = {

            'Authorization': 'KakaoAK ' + REST_API_KEY,

            'Content-Type': 'application/json'

        }

    )

    # 응답 JSON 형식으로 변환

    response = json.loads(r.content)

    return response

#요약라이브러리(summarize) 모듈 ######################

def split_script_1000(script):

    split_script = script.split('. ')

#    split_script = script.splitlines()

    result = []

    counter = 0

    tmp = ''

    for i in split_script:

        tmp += i

        counter += len(i)

       

        if counter > 100:

            result.append(tmp)

            tmp = ''

            counter = 0

    return result

def summarize_text(text, sentences_count=3):

    parser = PlaintextParser.from_string(text, Tokenizer('korean'))

    summarizer = LexRankSummarizer()

    summary = summarizer(parser.document, sentences_count)

    summary = [str(sentence) for sentence in summary]

    return summary

def Summary(rss_url):

    article = Article(rss_url, language = 'ko')

    article.download()

    article.parse()

   

    # 기사 본문 내용 요약

    NewsFeed = article.text

       

    #기사 제목

    print("\n")

    print(article.title + '\n')

   

    #기사 본문 원본

    #print(NewsFeed + '\n')

    NewsSum = summarize(NewsFeed,ratio=0.05)    

    print("Article 기사 본문 요약 (5%) ===============")

    print(NewsSum + '\n')

   

    NewsSum = summarize(NewsFeed,ratio=0.1)    

    print("Article 기사 본문 요약 (10%) ===============")

    print(NewsSum + '\n')

       

    NewsSum = summarize(NewsFeed,ratio=0.2)

    print("Article 기사 본문 요약 (20%) ===============")

    print(NewsSum + '\n')

       

    # KoGPT에게 전달할 명령어 구성

    print("KoGPT 기사 본문 요약 ===============")

   

    try:        

        prompt = NewsSum+"를 간단히 요약해줘:"

        response = kogpt_api(prompt,max_tokens = 128)

        print(response['generations'][0]['text'])

       

    except:

        print("(통신오류)")

        pass  

   

#실행    

arg1 = "https://topnanis.tistory.com/246"

Summary(arg1)