■ OpenAIEmbeddings 클래스의 embed_documents 메소드를 사용해 문자열 리스트에서 생성한 벡터간 유사도를 계산하는 방법을 보여준다.
※ OPENAI_API_KEY 환경 변수 값은 .env 파일에 정의한다.
▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
from dotenv import load_dotenv from langchain_openai import OpenAIEmbeddings from sklearn.metrics.pairwise import cosine_similarity load_dotenv() openAIEmbeddings = OpenAIEmbeddings() stringList = [ "안녕하세요? 반갑습니다.", "안녕하세요? 반갑습니다!", "안녕하세요? 만나서 반갑습니다.", "Hi, nice to meet you.", "I like to eat apples." ] vectorList = openAIEmbeddings.embed_documents(stringList) def calculateSimilarity(a, b): return cosine_similarity([a], [b])[0][0] for i, vector1 in enumerate(vectorList): for j, vector2 in enumerate(vectorList): if i < j: print(f"[유사도 {calculateSimilarity(vector1, vector2):.4f}] {stringList[i]} \t <=====> \t {stringList[j]}") """ [유사도 0.9881] 안녕하세요? 반갑습니다. <=====> 안녕하세요? 반갑습니다! [유사도 0.9678] 안녕하세요? 반갑습니다. <=====> 안녕하세요? 만나서 반갑습니다. [유사도 0.8448] 안녕하세요? 반갑습니다. <=====> Hi, nice to meet you. [유사도 0.7296] 안녕하세요? 반갑습니다. <=====> I like to eat apples. [유사도 0.9580] 안녕하세요? 반갑습니다! <=====> 안녕하세요? 만나서 반갑습니다. [유사도 0.8360] 안녕하세요? 반갑습니다! <=====> Hi, nice to meet you. [유사도 0.7266] 안녕하세요? 반갑습니다! <=====> I like to eat apples. [유사도 0.8427] 안녕하세요? 만나서 반갑습니다. <=====> Hi, nice to meet you. [유사도 0.7170] 안녕하세요? 만나서 반갑습니다. <=====> I like to eat apples. [유사도 0.7776] Hi, nice to meet you. <=====> I like to eat apples. """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 |
annotated-types==0.7.0 anyio==4.8.0 certifi==2024.12.14 charset-normalizer==3.4.1 distro==1.9.0 exceptiongroup==1.2.2 h11==0.14.0 httpcore==1.0.7 httpx==0.28.1 idna==3.10 jiter==0.8.2 joblib==1.4.2 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.3.29 langchain-openai==0.3.0 langsmith==0.2.10 numpy==2.2.1 openai==1.59.7 orjson==3.10.14 packaging==24.2 pydantic==2.10.5 pydantic_core==2.27.2 python-dotenv==1.0.1 PyYAML==6.0.2 regex==2024.11.6 requests==2.32.3 requests-toolbelt==1.0.0 scikit-learn==1.6.1 scipy==1.15.1 sniffio==1.3.1 tenacity==9.0.0 threadpoolctl==3.5.0 tiktoken==0.8.0 tqdm==4.67.1 typing_extensions==4.12.2 urllib3==2.3.0 |
※ pip install python-dotenv langchain-openai scikit-learn 명령을 실행했다.