랭체인으로 LLM 기반의 AI 서비스 개발하기 - 제 5장 랭체인으로 RAG 구현하기 (2)

 

다섯번째 섹션

RAG 기반 대화형 챗봇 만들기입니다.

 

 

필요한 라이브러리들입니다.

!pip install streamlit-chat
!pip install streamlit
!pip install langchain
!pip install faiss-cpu

 

설치 이후 주석처리 해줍니다

 

 

 

RAG에 쓰일 데이터는 PDF입니다.

PDF를 load한 뒤, 가져온 텍스트를 임베딩 처리 이후 파이시스에 저장하는 코드를 작성합니다.

 

 

 

필요한 라이브러리를 불러오고, open ai key를 입력합니다 sk-

import streamlit as st
from streamlit_chat import message
from langchain.embeddings.openai import OpenAIEmbeddings
from langchain.chat_models import ChatOpenAI
from langchain.chains import ConversationalRetrievalChain
from langchain.vectorstores import FAISS
import tempfile
from langchain.document_loaders import PyPDFLoader

import os
os.environ["OPENAI_API_KEY"] = "sk" #openai 키 입력

uploaded_file = st.sidebar.file_uploader("upload", type="pdf")

 

그리고 pdf를 upload 하도록 합니다

 

 

 

이후

 

가져온 data(pdf)를  embding 처리 이후 FAISS vectorDB에 저장해줍니다

if uploaded_file :
    with tempfile.NamedTemporaryFile(delete=False) as tmp_file:
        tmp_file.write(uploaded_file.getvalue())
        tmp_file_path = tmp_file.name
    
    loader = PyPDFLoader(tmp_file_path)
    data = loader.load()

    embeddings = OpenAIEmbeddings()
    vectors = FAISS.from_documents(data, embeddings)

    chain = ConversationalRetrievalChain.from_llm(llm = ChatOpenAI(temperature=0.0,model_name='gpt-4'), retriever=vectors.as_retriever())

    def conversational_chat(query):  #문맥 유지를 위해 과거 대화 저장 이력에 대한 처리      
        result = chain({"question": query, "chat_history": st.session_state['history']})
        st.session_state['history'].append((query, result["answer"]))        
        return result["answer"]
    
    if 'history' not in st.session_state:
        st.session_state['history'] = []

    if 'generated' not in st.session_state:
        st.session_state['generated'] = ["안녕하세요! " + uploaded_file.name + "에 관해 질문주세요."]

    if 'past' not in st.session_state:
        st.session_state['past'] = ["안녕하세요!"]
        
    #챗봇 이력에 대한 컨테이너
    response_container = st.container()
    #사용자가 입력한 문장에 대한 컨테이너
    container = st.container()

    with container: #대화 내용 저장(기억)
        with st.form(key='Conv_Question', clear_on_submit=True):           
            user_input = st.text_input("Query:", placeholder="PDF파일에 대해 얘기해볼까요? (:", key='input')
            submit_button = st.form_submit_button(label='Send')
            
        if submit_button and user_input:
            output = conversational_chat(user_input)
            
            st.session_state['past'].append(user_input)
            st.session_state['generated'].append(output)

    if st.session_state['generated']:
        with response_container:
            for i in range(len(st.session_state['generated'])):
                message(st.session_state["past"][i], is_user=True, key=str(i) + '_user', avatar_style = "fun-emoji", seed = "Nala")
                message(st.session_state["generated"][i], key=str(i), avatar_style = "bottts", seed = "Fluffy")

 

사용자가 query를 제출하면 conversational_chat() 메소드가 호출됩니다.

그리고 history 리스트에 (query, answer) 형태로 값이 저장되고,

history를 통해 대화가 기록되고 기록된 대화를 기반으로 문답이 이어집니다.

 

- past, generated는 streamlit ui에서 처리되는 문답 배열

 

 

이후 streamlit에서 실행하면

 

 

잘 나오는 모습

 

 

 

---

 

 

 

 

여섯번째 섹션

번역 서비스 만들기 입니다.

 

 

라이브러리 설치합니다

 

!pip install langchain
!pip install streamlit
!pip install openai

 

 

설치가 끝나면 주석처리 해줍니다

 

 

이후

 

 

라이브러리를 가져오고 api 키를 넣어줍니다.

import streamlit as st
from langchain.chat_models import ChatOpenAI
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
from langchain.memory import ConversationBufferMemory
import os
os.environ["OPENAI_API_KEY"] = "sk" #openai 키 입력

 

 

 

그리고

해당 질문을 특정 언어로 번역해달라하는 template으로

prompt를 번역하도록 지시합니다.

 

# 웹페이지에 보여질 내용
langs = ["Korean", "Japanese", "chinese", "English"]  #번역을 할 언어를 나열
left_co, cent_co,last_co = st.columns(3)

#웹페이지 왼쪽에 언어를 선택할 수 있는 라디오 버튼 
with st.sidebar:
     language = st.radio('번역을 원하는 언어를 선택해주세요.:', langs)

st.markdown('### 언어 번역 서비스예요~')
prompt = st.text_input('번역을 원하는 텍스트를 입력하세요')  #사용자의 텍스트 입력

trans_template = PromptTemplate(
    input_variables=['trans'],
    template='Your task is to translate this text to ' + language + 'TEXT: {trans}'
)  #해당 서비스가 번역에 대한 것임을 지시

#momory는 텍스트 저장 용도
memory = ConversationBufferMemory(input_key='trans', memory_key='chat_history')

llm = ChatOpenAI(temperature=0.0,model_name='gpt-4')
trans_chain = LLMChain(llm=llm, prompt=trans_template, verbose=True, output_key='translate', memory=memory)

# 프롬프트(trans_template)가 있으면 이를 처리하고 화면에 응답을 작성
if st.button("번역"):
    if prompt:
        response = trans_chain({'trans': prompt})
        st.info(response['translate'])

 

 

그리고

ConversationBufferMemory로 대화 문맥을 저장하여 LLMChain의 memory의 파라미터로 넣어줍니다

답변(번역)할때 대화 문맥 이해하기 위해 작성된 것 같습니다.

 

 

 

 

잘 동작하는 모습

 

 

---

 

 

일곱번째 섹션

메일 대신 작성해주는 프로그램입니다.

 

 

먼저 라이브러리 설치해준 뒤

!pip install streamlit
!pip install langchain
!pip install openai

 

주석처리해줍니다 (스트림릿으로 실행해야해서)

 

 

 

 

이후 open ai key를 등록해주고

import streamlit as st
import os
os.environ["OPENAI_API_KEY"] = "sk" #openai 키 입력

st.set_page_config(page_title="이메일 작성 서비스예요~", page_icon=":robot:")
st.header("이메일 작성기")

 

streamlit의 header와 page title을 작성해줍니다.

 

 

 

 

어떤 내용으로 이메일을 작성할지 입력받는 코드를 작성합니다

def getEmail():
    input_text = st.text_area(label="메일 입력", label_visibility='collapsed',
                              placeholder="어떤 메일을 작성하시겠습니까?", key="input_text")
    return input_text

input_text = getEmail()

 

 

 

PromptTemplate에 사용될 템플릿을 작성해주고

(메일을 작성해달라는 템플릿)

# 이메일 변환 작업을 위한 템플릿 정의
query_template = """
    메일을 작성해주세요.    
    아래는 이메일입니다:
    이메일: {email}
"""

 

 

 

 

PromptTemplate 인스턴스를 생성합니다

from langchain import PromptTemplate
# PromptTemplate 인스턴스 생성
prompt = PromptTemplate(
    input_variables=["email"],
    template=query_template,
)

 

 

 

그리고 gpt llm을 반환하는 메소드를 작성합니다

from langchain.chat_models import ChatOpenAI
# 언어 모델을 호출합니다
def loadLanguageModel():
    llm = ChatOpenAI(temperature=0.0,model_name='gpt-4')
    return llm

 

 

 

 

 

이후 입력받은 내용을 template 형태로 하여 llm prompt로 호출합니다

# 예시 이메일을 표시
st.button("*예제를 보여주세요*", type='secondary', help="봇이 작성한 메일을 확인해보세요.")
st.markdown("### 봇이 작성한 메일은:")

if input_text:
    llm = loadLanguageModel()
    # PromptTemplate 및 언어 모델을 사용하여 이메일 형식을 지정
    prompt_with_email = prompt.format(email=input_text)
    formatted_email = llm.predict(prompt_with_email)
    # 서식이 지정된 이메일 표시
    st.write(formatted_email)

 

 

 

이후 streamlit 으로 실행하면

 

 

 

잘 나오는 모습

 

 

 

---

 

 

여덟번째 섹션

CSV파일 분석 서비스 만들기 입니다.

 

 

라이브러리를 설치합니다

!pip install langchain-experimental
!pip install tabulate
!pip install pandas
!pip install openai

 

pandas는 데이터 조작 분석 용도,

tabulate는 테이블 데이터를 가독성 좋게 출력하는 라이브러리 입니다

 

 

csv 파일을 경로에 맞게 설정해줍니다.

import pandas as pd #파이썬 언어로 작성된 데이터를 분석 및 조작하기 위한 라이브러리

#csv 파일을 데이터프레임으로 가져오기
df = df = pd.read_csv('Order_v3.csv', encoding='ISO-8859-1') # 파일이 위치한 경로 지정
df.head()

 

 

 

key를 입력해주고 pandas langchain agent를  생성하는 코드를 작성합니다.

from langchain_experimental.agents.agent_toolkits import create_pandas_dataframe_agent
from langchain.chat_models import ChatOpenAI
from langchain.agents.agent_types import AgentType
import os
os.environ["OPENAI_API_KEY"] = "sk" #openai 키 입력

#에이전트 생성
agent = create_pandas_dataframe_agent(
    ChatOpenAI(temperature=0.7, model='gpt-4o'),  #gpt-3.5-turbo 사용
    df,             #데이터가 담긴 곳
    verbose=False,  #추론 과정을 출력하지 않음
    agent_type=AgentType.OPENAI_FUNCTIONS, 
    allow_dangerous_code=True,
)

 

 

 

그리고 jupyter notebook에서

agent.run('어떤 csv 파일인지 요약해줘')

 

질문을 담아 agent 를 실행해줍니다

 

 

 

 

잘 나오는 모습