■ Encoding 클래스의 decode 메소드를 사용해 토큰 리스트에서 텍스트를 구하는 방법을 보여준다.
▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
import tiktoken encoding = tiktoken.get_encoding("cl100k_base") tokenList = encoding.encode("Hello, World!") text = encoding.decode(tokenList) print(f"토큰 리스트 길이 : {len(tokenList)}") print(f"토큰 리스트 : {tokenList }") print(f"디코딩 문자열 : {text }") """ 토큰 리스트 길이 : 4 토큰 리스트 : [9906, 11, 4435, 0] 디코딩 문자열 : Hello, World! """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 regex==2024.5.15 requests==2.32.3 tiktoken==0.7.0 urllib3==2.2.1 |
※ pip install tiktoken 명령을 실행했다.