■ TokenTextSplitter 클래스의 생성자에서 chunk_size/chunk_overlap 인자를 사용해 TokenTextSplitter 객체를 만드는 방법을 보여준다.
▶ 예제 코드 (PY)
|
1 2 3 4 5 6 7 8 |
from langchain_text_splitters import TokenTextSplitter tokenTextSplitter = TokenTextSplitter( chunk_size = 200, chunk_overlap = 0 ) |
※ pip install langchain-text-splitters tiktoken 명령을 실행했다.