HUGGING FACE Archives

[PYTHON/LLAMA-INDEX] Settings 클래스 : embed_model 정적 변수를 사용해 허깅 페이스 임베딩(HuggingFaceEmbeddings) 커스텀 설정하기

■ Settings 클래스의 embed_model 정적 변수를 사용해 허깅 페이스 임베딩(HuggingFaceEmbeddings)을 커스텀 설정하는 방법을 보여준다. ▶ main.py


import os

from langchain_huggingface    import HuggingFaceEmbeddings
from llama_index.core         import Settings, SimpleDirectoryReader, GPTVectorStoreIndex
from llama_index.llms.openai  import OpenAI

os.environ["OPENAI_API_KEY"] = "<OPENAI_API_KEY>"

simpleDirectoryReader = SimpleDirectoryReader(input_dir = "/home/king/data")

documentList = simpleDirectoryReader.load_data()

Settings.llm = OpenAI(
    model       = "gpt-4", # 모델명
    temperature = 0.1      # 온도
)

Settings.max_input_size    = 4096 # LLM 입력의 최대 토큰 수
Settings.num_output        = 256  # LLM 출력의 토큰 수
Settings.max_chunk_overlap = 20   # 청크 오버랩의 최대 토큰 수

Settings.embed_model = HuggingFaceEmbeddings(model_name = "bongsoo/moco-sentencedistilbertV2.1")

vectorStoreIndex = GPTVectorStoreIndex.from_documents(documentList)

retrieverQueryEngine = vectorStoreIndex.as_query_engine()

answer1 = retrieverQueryEngine.query("미코의 소꿉친구 이름은?"      )
answer2 = retrieverQueryEngine.query("울프 코퍼레이션의 CEO 이름은?")
answer3 = retrieverQueryEngine.query("미코의 성격은?"               )

print(f"미코의 소꿉친구 이름     : {answer1}")
print(f"울프 코퍼레이션 CEO 이름 : {answer2}")
print(f"미코의 성격은            : {answer3}")

import os

from langchain_huggingface import HuggingFaceEmbeddings

from llama_index.core import Settings, SimpleDirectoryReader, GPTVectorStoreIndex

from llama_index.llms.openai import OpenAI

os.environ["OPENAI_API_KEY"] = "<OPENAI_API_KEY>"

simpleDirectoryReader = SimpleDirectoryReader(input_dir = "/home/king/data")

documentList = simpleDirectoryReader.load_data()

Settings.llm = OpenAI(

model = "gpt-4", # 모델명

temperature = 0.1 # 온도

)

Settings.max_input_size = 4096 # LLM 입력의 최대 토큰 수

Settings.num_output = 256 # LLM 출력의 토큰 수

Settings.max_chunk_overlap = 20 # 청크 오버랩의 최대 토큰 수

Settings.embed_model = HuggingFaceEmbeddings(model_name = "bongsoo/moco-sentencedistilbertV2.1")

vectorStoreIndex = GPTVectorStoreIndex.from_documents(documentList)

retrieverQueryEngine = vectorStoreIndex.as_query_engine()

answer1 = retrieverQueryEngine.query("미코의 소꿉친구 이름은?" )

answer2 = retrieverQueryEngine.query("울프 코퍼레이션의 CEO 이름은?")

answer3 = retrieverQueryEngine.query("미코의 성격은?" )

print(f"미코의 소꿉친구 이름 : {answer1}")

print(f"울프 코퍼레이션 CEO 이름 : {answer2}")

print(f"미코의 성격은 : {answer3}")

▶ 실행 결과


미코의 소꿉친구 이름     : 미코의 소꿉친구의 이름은 료입니다.
울프 코퍼레이션 CEO 이름 : 울프 박사입니다.
미코의 성격은            : 문맥에 따르면 미코는 끈기 있고 용감한 성격을 가진 것으로 보입니다. 그녀는 상황이 엄중한 데도 굴하지 않고 울프 박사와 싸우었으며, 그의 약점을 찾아 그를 이길 수 있었습니다.

미코의 소꿉친구 이름 : 미코의 소꿉친구의 이름은 료입니다.

울프 코퍼레이션 CEO 이름 : 울프 박사입니다.

미코의 성격은 : 문맥에 따르면 미코는 끈기 있고 용감한 성격을 가진 것으로 보입니다. 그녀는 상황이 엄중한 데도 굴하지 않고 울프 박사와 싸우었으며, 그의 약점을 찾아 그를 이길 수 있었습니다.

▶