■ HuggingFaceEndpointEmbeddings 클래스의 embed_documents 메소드를 사용해 문자열 리스트에서 벡터 리스트를 만드는 방법을 보여준다.
※ HUGGINGFACEHUB_API_TOKEN 환경 변수 값은 .env 파일에 정의한다.
▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 |
import warnings from dotenv import load_dotenv from langchain_huggingface.embeddings import HuggingFaceEndpointEmbeddings load_dotenv() warnings.filterwarnings("ignore") stringList = [ "안녕, 만나서 반가워.", "LangChain simplifies the process of building applications with large language models", "랭체인 한국어 튜토리얼은 LangChain의 공식 문서, cookbook 및 다양한 실용 예제를 바탕으로 하여 사용자가 LangChain을 더 쉽고 효과적으로 활용할 수 있도록 구성되어 있습니다. ", "LangChain은 초거대 언어모델로 애플리케이션을 구축하는 과정을 단순화합니다.", "Retrieval-Augmented Generation (RAG) is an effective technique for improving AI responses." ] huggingFaceEndpointEmbeddings = HuggingFaceEndpointEmbeddings( model = "intfloat/multilingual-e5-large-instruct", task = "feature-extraction" ) vectorList = huggingFaceEndpointEmbeddings.embed_documents(stringList) print("[HuggingFace Endpoint Embedding]") print(f"Model : {huggingFaceEndpointEmbeddings.model}") print(f"Dimension : {len(vectorList[0])}") """ [HuggingFace Endpoint Embedding] Model : intfloat/multilingual-e5-large-instruct Dimension : 1024 """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 |
annotated-types==0.7.0 anyio==4.8.0 certifi==2024.12.14 charset-normalizer==3.4.1 exceptiongroup==1.2.2 filelock==3.16.1 fsspec==2024.12.0 h11==0.14.0 httpcore==1.0.7 httpx==0.28.1 huggingface-hub==0.27.1 idna==3.10 Jinja2==3.1.5 joblib==1.4.2 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.3.29 langchain-huggingface==0.1.2 langsmith==0.2.10 MarkupSafe==3.0.2 mpmath==1.3.0 networkx==3.4.2 numpy==2.2.1 nvidia-cublas-cu12==12.4.5.8 nvidia-cuda-cupti-cu12==12.4.127 nvidia-cuda-nvrtc-cu12==12.4.127 nvidia-cuda-runtime-cu12==12.4.127 nvidia-cudnn-cu12==9.1.0.70 nvidia-cufft-cu12==11.2.1.3 nvidia-curand-cu12==10.3.5.147 nvidia-cusolver-cu12==11.6.1.9 nvidia-cusparse-cu12==12.3.1.170 nvidia-nccl-cu12==2.21.5 nvidia-nvjitlink-cu12==12.4.127 nvidia-nvtx-cu12==12.4.127 orjson==3.10.14 packaging==24.2 pillow==11.1.0 pydantic==2.10.5 pydantic_core==2.27.2 python-dotenv==1.0.1 PyYAML==6.0.2 regex==2024.11.6 requests==2.32.3 requests-toolbelt==1.0.0 safetensors==0.5.2 scikit-learn==1.6.1 scipy==1.15.1 sentence-transformers==3.3.1 sniffio==1.3.1 sympy==1.13.1 tenacity==9.0.0 threadpoolctl==3.5.0 tokenizers==0.21.0 torch==2.5.1 tqdm==4.67.1 transformers==4.48.0 triton==3.1.0 typing_extensions==4.12.2 urllib3==2.3.0 |
※ pip install python-dotenv langchain-huggingface 명령을 실행했다.