■ get_encoding 함수를 사용해 O200K_BASE 인코딩을 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 |
import tiktoken encoding = tiktoken.get_encoding("o200k_base") |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 regex==2024.5.15 requests==2.32.3 tiktoken==0.7.0 urllib3==2.2.1 |
※ pip install tiktoken 명령을 실행했다.
■ get_encoding 함수를 사용해 CL100K_BASE 인코딩을 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 |
import tiktoken encoding = tiktoken.get_encoding("cl100k_base") |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 regex==2024.5.15 requests==2.32.3 tiktoken==0.7.0 urllib3==2.2.1 |
※ pip install tiktoken 명령을 실행했다.
■ 커스텀 토큰 카운터를 만드는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 |
import tiktoken from typing import List from langchain_core.messages import BaseMessage from langchain_core.messages import SystemMessage from langchain_core.messages import HumanMessage from langchain_core.messages import ToolMessage from langchain_core.messages import AIMessage from langchain_core.messages import trim_messages sourceMessageList = [ SystemMessage("you're a good assistant, you always respond with a joke."), HumanMessage("i wonder why it's called langchain"), AIMessage('Well, I guess they thought "WordRope" and "SentenceString" just didn\'t have the same ring to it!'), HumanMessage("and who is harrison chasing anyways"), AIMessage("Hmmm let me think.\n\nWhy, he's probably chasing after the last cup of coffee in the office!"), HumanMessage("what do you call a speechless parrot") ] def getTokenCounterFromString(text : str) -> int: encoding = tiktoken.get_encoding("o200k_base") return len(encoding.encode(text)) def getTokenCounterFromMessageList(messageList : List[BaseMessage]) -> int: tokenCount = 3 # 모든 응답은 <|start|>assistant<|message|>로 시작된다. tokenCountPerMessage = 3 tokenCountPerName = 1 for message in messageList: if isinstance(message, SystemMessage): role = "system" elif isinstance(message, HumanMessage): role = "user" elif isinstance(message, ToolMessage): role = "tool" elif isinstance(message, AIMessage): role = "assistant" else: raise ValueError(f"Unsupported messages type {message.__class__}") tokenCount += (tokenCountPerMessage + getTokenCounterFromString(role) + getTokenCounterFromString(message.content)) if message.name: tokenCount += tokenCountPerName + getTokenCounterFromString(message.name) return tokenCount targetMessageList = trim_messages( sourceMessageList, max_tokens = 45, strategy = "last", token_counter = getTokenCounterFromMessageList, ) print(targetMessageList) """ [ AIMessage(content = "Hmmm let me think.\n\nWhy, he's probably chasing after the last cup of coffee in the office!"), HumanMessage(content = 'what do you call a speechless parrot') ] """---------------------------------------------------------------------------------------------------- ▶ requirements.txt |
aiohttp==3.9.5 aiosignal==1.3.1 annotated-types==0.7.0 async-timeout==4.0.3 attrs==23.2.0 certifi==2024.6.2 charset-normalizer==3.3.2 frozenlist==1.4.1 greenlet==3.0.3 idna==3.7 jsonpatch==1.33 jsonpointer==3.0.0
■ Encoding 클래스를 사용해 한국어와 영어 토큰수를 비교한 결과를 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 |
import tiktoken encoding = tiktoken.get_encoding("cl100k_base") englishTokenList = encoding.encode("Hello, World!") englishBinaryTokenList = encoding.decode_tokens_bytes(englishTokenList) englishText = encoding.decode(englishTokenList) koreanTokenList = encoding.encode("헬로우 월드!") koreanBinaryTokenList = encoding.decode_tokens_bytes(koreanTokenList) koreanText = encoding.decode(koreanTokenList) print( "[영어]") print(f" 토큰 리스트 길이 : {len(englishTokenList) }") print(f" 토큰 리스트 : {englishTokenList }") print(f" 바이너리 토큰 리스트 : {englishBinaryTokenList}") print(f" 텍스트 : {englishText }") print( "[한국어]") print(f" 토큰 리스트 길이 : {len(koreanTokenList) }") print(f" 토큰 리스트 : {koreanTokenList }") print(f" 바이너리 토큰 리스트 : {koreanBinaryTokenList}") print(f" 텍스트 : {koreanText }") """ [영어] 토큰 리스트 길이 : 4 토큰 리스트 : [9906, 11, 4435, 0] 바이너리 토큰 리스트 : [b'Hello', b',', b' World', b'!'] 텍스트 : Hello, World! [한국어] 토큰 리스트 길이 : 9 토큰 리스트 : [169, 245, 105, 17835, 41381, 86513, 242, 30446, 0] 바이너리 토큰 리스트 : [b'\xed', b'\x97', b'\xac', b'\xeb\xa1\x9c', b'\xec\x9a\xb0', b' \xec\x9b', b'\x94', b'\xeb\x93\x9c', b'!'] 텍스트 : 헬로우 월드! """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 regex==2024.5.15 requests==2.32.3 tiktoken==0.7.0 urllib3==2.2.1 |
※ pip install tiktoken 명령을 실행했다.
■ Encoding 클래스의 decode_tokens_bytes 메소드를 사용해 바이트 형태의 토큰 리스트를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
import tiktoken encoding = tiktoken.get_encoding("cl100k_base") tokenList = encoding.encode("Hello, World!") binaryTokenList = encoding.decode_tokens_bytes(tokenList) print(f"토큰 리스트 길이 : {len(tokenList) }") print(f"토큰 리스트 : {tokenList }") print(f"바이너리 토큰 리스트 : {binaryTokenList}") """ 토큰 리스트 길이 : 4 토큰 리스트 : [9906, 11, 4435, 0] 바이너리 토큰 리스트 : [b'Hello', b',', b' World', b'!'] """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 regex==2024.5.15 requests==2.32.3 tiktoken==0.7.0 urllib3==2.2.1 |
※ pip install
■ Encoding 클래스의 decode 메소드를 사용해 토큰 리스트에서 텍스트를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 |
import tiktoken encoding = tiktoken.get_encoding("cl100k_base") tokenList = encoding.encode("Hello, World!") text = encoding.decode(tokenList) print(f"토큰 리스트 길이 : {len(tokenList)}") print(f"토큰 리스트 : {tokenList }") print(f"디코딩 문자열 : {text }") """ 토큰 리스트 길이 : 4 토큰 리스트 : [9906, 11, 4435, 0] 디코딩 문자열 : Hello, World! """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 regex==2024.5.15 requests==2.32.3 tiktoken==0.7.0 urllib3==2.2.1 |
※ pip install tiktoken
■ Encoding 클래스의 encode 메소드를 사용해 토큰 리스트를 구하는 방법을 보여준다. ▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
import tiktoken encoding = tiktoken.get_encoding("cl100k_base") tokenList = encoding.encode("Hello, World!") print(f"토큰 리스트 길이 : {len(tokenList)}") print(f"토큰 리스트 : {tokenList }") """ 토큰 리스트 길이 : 4 토큰 리스트 : [9906, 11, 4435, 0] """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 |
certifi==2024.6.2 charset-normalizer==3.3.2 idna==3.7 regex==2024.5.15 requests==2.32.3 tiktoken==0.7.0 urllib3==2.2.1 |
※ pip install tiktoken 명령을
■ get_encoding 함수를 사용해 토크나이저의 인코딩 객체를 구하는 방법을 보여준다. • LLM의 인코딩은 텍스트가 토큰으로 분할되는 규칙이다. • 모델마다 사용하는 인코딩이 다르다.
■ tiktoken 패키지를 설치하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 명령 프롬프트에서 아래 명령을 실행한다. ▶ 실행 명령
|
1 2 3 |
pip install tiktoken |