TIKTOKEN Archives - icodebroker

[PYTHON/TIKTOKEN] Encoding 클래스 : encode 메소드를 사용해 토큰 리스트 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] encoding_for_model 함수 : 특정 모델의 Encoding 객체 만들기 (gpt-4o-mini 모델)

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/LANGCHAIN] trim_messages 함수 : token_counter 인자를 사용해 커스텀 카운터 만들기

icodebroker LANGCHAIN 2024-12-16

■ Read more…

[PYTHON/TIKTOKEN] get_encoding 함수 : O200K_BASE 인코딩 구하기 (ANTHROPIC 모델용)

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] get_encoding 함수 : CL100K_BASE 인코딩 구하기 (OPENAI GPT3.5/GPT4 모델용)

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/LANGCHAIN] 커스텀 토큰 카운터 만들기

icodebroker LANGCHAIN 2024-12-09

■ Read more…

[PYTHON/TIKTOKEN] Encoding 클래스 : 한국어와 영어 토큰수 비교하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] Encoding 클래스 : decode_tokens_bytes 메소드를 사용해 바이트 형태 토큰 리스트 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] Encoding 클래스 : decode 메소드를 사용해 토큰 리스트에서 텍스트 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] Encoding 클래스 : encode 메소드를 사용해 토큰 리스트 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] get_encoding 함수 : 토크나이저 인코딩 객체 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/COMMON] tiktoken 패키지 설치하기

icodebroker COMMON 2024-06-27

■ Read more…

icodebroker

[태그:] TIKTOKEN

[PYTHON/TIKTOKEN] Encoding 클래스 : encode 메소드를 사용해 토큰 리스트 구하기

[PYTHON/TIKTOKEN] encoding_for_model 함수 : 특정 모델의 Encoding 객체 만들기 (gpt-4o-mini 모델)

[PYTHON/LANGCHAIN] trim_messages 함수 : token_counter 인자를 사용해 커스텀 카운터 만들기

[PYTHON/TIKTOKEN] get_encoding 함수 : O200K_BASE 인코딩 구하기 (ANTHROPIC 모델용)

[PYTHON/TIKTOKEN] get_encoding 함수 : CL100K_BASE 인코딩 구하기 (OPENAI GPT3.5/GPT4 모델용)

[PYTHON/LANGCHAIN] 커스텀 토큰 카운터 만들기

[PYTHON/TIKTOKEN] Encoding 클래스 : 한국어와 영어 토큰수 비교하기

[PYTHON/TIKTOKEN] Encoding 클래스 : decode_tokens_bytes 메소드를 사용해 바이트 형태 토큰 리스트 구하기

[PYTHON/TIKTOKEN] Encoding 클래스 : decode 메소드를 사용해 토큰 리스트에서 텍스트 구하기

[PYTHON/TIKTOKEN] Encoding 클래스 : encode 메소드를 사용해 토큰 리스트 구하기

[PYTHON/TIKTOKEN] get_encoding 함수 : 토크나이저 인코딩 객체 구하기

[PYTHON/COMMON] tiktoken 패키지 설치하기

분류

보관함