icodebroker

컴퓨터 프로그래밍 코드 데이터베이스

[태그:] TOKENIZER

[PYTHON/TRANSFORMERS] AutoTokenizer 클래스 : from_pretrained 정적 메소드를 사용해 LlamaTokenizerFast 객체 만들기 (hf-internal-testing/llama-tokenizer)

icodebroker TRANSFORMERS 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] Encoding 클래스 : encode 메소드를 사용해 토큰 리스트 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] encoding_for_model 함수 : 특정 모델의 Encoding 객체 만들기 (gpt-4o-mini 모델)

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] get_encoding 함수 : O200K_BASE 인코딩 구하기 (ANTHROPIC 모델용)

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] get_encoding 함수 : CL100K_BASE 인코딩 구하기 (OPENAI GPT3.5/GPT4 모델용)

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] Encoding 클래스 : 한국어와 영어 토큰수 비교하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] Encoding 클래스 : decode_tokens_bytes 메소드를 사용해 바이트 형태 토큰 리스트 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] Encoding 클래스 : decode 메소드를 사용해 토큰 리스트에서 텍스트 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] Encoding 클래스 : encode 메소드를 사용해 토큰 리스트 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…

[PYTHON/TIKTOKEN] get_encoding 함수 : 토크나이저 인코딩 객체 구하기

icodebroker TIKTOKEN 2025-01-18

■ Read more…