■ get_encoding 함수를 사용해 O200K_BASE 인코딩을 구하는 방법을 보여준다.
▶ main.py
|
1 2 3 4 5 |
import tiktoken encoding = tiktoken.get_encoding("o200k_base") |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 regex==2024.5.15 requests==2.32.3 tiktoken==0.7.0 urllib3==2.2.1 |
※ pip install tiktoken 명령을 실행했다.