■ ChatOpenAI 클래스의 stream 메소드에서 stream_options 인자를 사용해 스트리밍시 토큰 사용량을 구하는 방법을 보여준다.
※ 기본적으로 스트림의 마지막 메시지 청크에는 메시지의 response_metadata 속성에 "finish_reason"이 포함된다.
※ 스트리밍 모드에 토큰 사용을 포함하면 사용 메타 데이터가 포함된 추가 청크가 스트림 끝에 추가되어 "finish_reason"이 두 번째에서 마지막 메시지 청크에 나타난다.
※ OPENAI_API_KEY 환경 변수 값은 .env 파일에 정의한다.
▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 |
from dotenv import load_dotenv from langchain_openai import ChatOpenAI load_dotenv() chatOpenAI = ChatOpenAI(model = "gpt-3.5-turbo-0125") aggregateAIMessageChunk = None for aiMessageChunk in chatOpenAI.stream("hello", stream_options = {"include_usage" : True}): print(aiMessageChunk) aggregateAIMessageChunk = aiMessageChunk if aggregateAIMessageChunk is None else aggregateAIMessageChunk + aiMessageChunk """ content='' id='run-94531ee0-ef31-40be-899d-f697976c5774' content='Hello' id='run-94531ee0-ef31-40be-899d-f697976c5774' content='!' id='run-94531ee0-ef31-40be-899d-f697976c5774' content=' How' id='run-94531ee0-ef31-40be-899d-f697976c5774' content=' can' id='run-94531ee0-ef31-40be-899d-f697976c5774' content=' I' id='run-94531ee0-ef31-40be-899d-f697976c5774' content=' assist' id='run-94531ee0-ef31-40be-899d-f697976c5774' content=' you' id='run-94531ee0-ef31-40be-899d-f697976c5774' content=' today' id='run-94531ee0-ef31-40be-899d-f697976c5774' content='?' id='run-94531ee0-ef31-40be-899d-f697976c5774' content='' response_metadata={'finish_reason': 'stop', 'model_name': 'gpt-3.5-turbo-0125'} id='run-94531ee0-ef31-40be-899d-f697976c5774' content='' id='run-94531ee0-ef31-40be-899d-f697976c5774' usage_metadata={'input_tokens': 8, 'output_tokens': 9, 'total_tokens': 17} """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 |
annotated-types==0.7.0 anyio==4.4.0 certifi==2024.6.2 charset-normalizer==3.3.2 distro==1.9.0 exceptiongroup==1.2.1 h11==0.14.0 httpcore==1.0.5 httpx==0.27.0 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.9 langchain-openai==0.1.9 langsmith==0.1.82 openai==1.35.3 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 python-dotenv==1.0.1 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 sniffio==1.3.1 tenacity==8.4.2 tiktoken==0.7.0 tqdm==4.66.4 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install python-dotenv langchain-openai 명령을 실행했다.