■ SentenceTransformersTokenTextSplitter 클래스의 생성자에서 chunk_size/chunk_overlap 인자를 사용해 SentenceTransformersTokenTextSplitter 객체를 만드는 방법을 보여준다.
▶ 예제 코드 (PY)
|
1 2 3 4 5 6 7 8 |
from langchain_text_splitters import SentenceTransformersTokenTextSplitter sentenceTransformersTokenTextSplitter = SentenceTransformersTokenTextSplitter( chunk_size = 200, chunk_overlap = 0 ) |
※ pip install langchain-text-splitters sentence-transformers 명령을 실행했다.