■ ChatOpenAI 클래스의 bind 메소드에서 logprobs 인자를 사용해 주어진 토큰 확률 로그 값을 받는 방법을 보여준다.
※ OPENAI_API_KEY 환경 변수 값은 .env 파일에 정의한다.
▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 |
from dotenv import load_dotenv from langchain_openai import ChatOpenAI load_dotenv() chatOpenAI = ChatOpenAI( model_name = "gpt-4o-mini", # 모델명 max_tokens = 2048, # 최대 토큰 수 temperature = 0.1, # 창의성 (0.0 ~ 2.0) ) runnableBinding = chatOpenAI.bind(logprobs = True) requestString = "대한민국의 수도는 어디입니까?" responseAIMessage = runnableBinding.invoke(requestString) print(responseAIMessage.response_metadata) """ {'token_usage': {'completion_tokens': 8, 'prompt_tokens': 16, 'total_tokens': 24, 'completion_tokens_details': {'reasoning_tokens': 0}}, 'model_name': 'gpt-4o-mini-2024-07-18', 'system_fingerprint': 'fp_1bb46167f9', 'finish_reason': 'stop', 'logprobs': {'content': [{'token': '대한', 'bytes': [235, 140, 128, 237, 149, 156], 'logprob': -2.9040899e-05, 'top_logprobs': []}, {'token': '민국', 'bytes': [235, 175, 188, 234, 181, 173], 'logprob': -1.2664457e-06, 'top_logprobs': []}, {'token': '의', 'bytes': [236, 157, 152], 'logprob': -2.7968066e-05, 'top_logprobs': []}, {'token': ' 수도', 'bytes': [32, 236, 136, 152, 235, 143, 132], 'logprob': -8.3874584e-05, 'top_logprobs': []}, {'token': '는', 'bytes': [235, 138, 148], 'logprob': -4.8471098e-05, 'top_logprobs': []}, {'token': ' 서울', 'bytes': [32, 236, 132, 156, 236, 154, 184], 'logprob': -0.00018292182, 'top_logprobs': []}, {'token': '입니다', 'bytes': [236, 158, 133, 235, 139, 136, 235, 139, 164], 'logprob': -0.003041174, 'top_logprobs': []}, {'token': '.', 'bytes': [46], 'logprob': -1.9361265e-07, 'top_logprobs': []}], 'refusal': None}} """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
annotated-types==0.7.0 anyio==4.6.0 certifi==2024.8.30 charset-normalizer==3.3.2 distro==1.9.0 exceptiongroup==1.2.2 h11==0.14.0 httpcore==1.0.5 httpx==0.27.2 idna==3.10 jiter==0.5.0 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.3.5 langchain-openai==0.2.0 langsmith==0.1.125 openai==1.47.0 orjson==3.10.7 packaging==24.1 pydantic==2.9.2 pydantic_core==2.23.4 python-dotenv==1.0.1 PyYAML==6.0.2 regex==2024.9.11 requests==2.32.3 sniffio==1.3.1 tenacity==8.5.0 tiktoken==0.7.0 tqdm==4.66.5 typing_extensions==4.12.2 urllib3==2.2.3 |
※ pip install python-dotenv langchain-openai 명령을 실행했다.