■ apply 함수를 사용해 현재 이벤트 루프를 사용하는 방법을 보여준다.
※ 설계상 asyncio는 이벤트 루프가 중첩되는 것을 허용하지 않는다. 이는 실질적인 문제를 제시한다. 이벤트 루프가 이미 실행 중인 환경에서는 작업을 실행하고 결과를 기다리는 것이 불가능하다. nest_asyncio 모듈은 asyncio.run 및 loop.run_until_complete 의 중첩 사용을 허용하도록 asyncio를 패치한다.
※ apply 함수는 선택적으로 패치가 필요한 특정 루프를 apply 인수로 지정할 수 있다. 그렇지 않으면 현재 이벤트 루프가 사용된다. 이벤트 루프는 이미 실행 중이든 아니든 패치할 수 있다. asyncio의 이벤트 루프만 패치할 수 있다. uvloop 또는 quamash와 같은 다른 프로젝트의 루프는 일반적으로 패치할 수 없다.
※ Jupyter 노트북에서 비동기 코드를 실행할 수 있도록 한다.
※ OPENAI_API_KEY 환경 변수 값은 .env 파일에 정의한다.
▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
import asyncio import nest_asyncio import time from dotenv import load_dotenv from langchain_openai import OpenAI load_dotenv() nest_asyncio.apply() async def generateQueryAsync(openAI): llmResult = await openAI.agenerate(["안녕하세요!"]) print(llmResult.generations[0][0].text) async def generateAsync(): openAI = OpenAI(model = "gpt-3.5-turbo-instruct", temperature = 0.9) coroutineList = [generateQueryAsync(openAI) for _ in range(10)] await asyncio.gather(*coroutineList) startTimestamp = time.perf_counter() asyncio.run(generateAsync()) elapsedTime = time.perf_counter() - startTimestamp print(f"{elapsedTime:0.2f} 초") """ 5.55 초 """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
annotated-types==0.7.0 anyio==4.4.0 certifi==2024.6.2 charset-normalizer==3.3.2 distro==1.9.0 exceptiongroup==1.2.1 h11==0.14.0 httpcore==1.0.5 httpx==0.27.0 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0 langchain-core==0.2.9 langchain-openai==0.1.8 langsmith==0.1.80 nest-asyncio==1.6.0 openai==1.35.0 orjson==3.10.5 packaging==24.1 pydantic==2.7.4 pydantic_core==2.18.4 python-dotenv==1.0.1 PyYAML==6.0.1 regex==2024.5.15 requests==2.32.3 sniffio==1.3.1 tenacity==8.4.1 tiktoken==0.7.0 tqdm==4.66.4 typing_extensions==4.12.2 urllib3==2.2.2 |
※ pip install python-dotenv nest_asyncio langchain-openai 명령을 실행했다.