[PYTHON/TIKTOKEN] get_encoding 함수 : O200K_BASE 인코딩 구하기

icodebroker TIKTOKEN 2024-06-25

■ get_encoding 함수를 사용해 O200K_BASE 인코딩을 구하는 방법을 보여준다.

▶ main.py


import tiktoken

encoding = tiktoken.get_encoding("o200k_base")

1

2

3

4

5

import tiktoken

encoding = tiktoken.get_encoding("o200k_base")

▶ requirements.txt


certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
regex==2024.5.15
requests==2.32.3
tiktoken==0.7.0
urllib3==2.2.1

1

2

3

4

5

6

7

8

9

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

regex==2024.5.15

requests==2.32.3

tiktoken==0.7.0

urllib3==2.2.1

※ pip install tiktoken 명령을 실행했다.