■ Encoding 클래스의 encode 메소드를 사용해 토큰 리스트를 구하는 방법을 보여준다.
※ 토큰 리스트의 길이가 토큰 수가 된다.
▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
import tiktoken encoding = tiktoken.encoding_for_model("gpt-4o-mini") tokenList = encoding.encode("안녕하세요, 반갑습니다!") print(f"인코딩 토큰 : {tokenList}") print(f"토큰 수 : {len(tokenList)}") """ 인코딩 토큰 : [14307, 171731, 11, 35007, 114614, 12020, 0] 토큰 수 : 7 """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.12.14 charset-normalizer==3.4.1 idna==3.10 regex==2024.11.6 requests==2.32.3 tiktoken==0.8.0 urllib3==2.3.0 |
※ pip install tiktoken 명령을 실행했다.