■ Encoding 클래스의 encode 메소드를 사용해 토큰 리스트를 구하는 방법을 보여준다.
▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
import tiktoken encoding = tiktoken.get_encoding("cl100k_base") tokenList = encoding.encode("Hello, World!") print(f"토큰 리스트 길이 : {len(tokenList)}") print(f"토큰 리스트 : {tokenList }") """ 토큰 리스트 길이 : 4 토큰 리스트 : [9906, 11, 4435, 0] """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 regex==2024.5.15 requests==2.32.3 tiktoken==0.7.0 urllib3==2.2.1 |
※ pip install tiktoken 명령을 실행했다.