[PYTHON/LANGCHAIN] CharacterTextSplitter 클래스 : 생성자에서 chunk_size/chunk_overlap/length_function/is_separator_regex 인자를 사용해 CharacterTextSplitter 객체 만들기

icodebroker LANGCHAIN 2025-01-14

■ CharacterTextSplitter 클래스의 생성자에서 chunk_size/chunk_overlap/length_function/is_separator_regex 인자를 사용해 CharacterTextSplitter 객체를 만드는 방법을 보여준다.

▶ 예제 코드 (PY)


from langchain_text_splitters import CharacterTextSplitter

characterTextSplitter = CharacterTextSplitter(
    chunk_size         = 250,
    chunk_overlap      = 50,
    length_function    = len,
    is_separator_regex = False
)

1

2

3

4

5

6

7

8

9

10

from langchain_text_splitters import CharacterTextSplitter

characterTextSplitter = CharacterTextSplitter(

chunk_size = 250,

chunk_overlap = 50,

length_function = len,

is_separator_regex = False

)

※ pip install langchain-text-splitters 명령을 실행했다.

Post Views: 2

AI DOCUMENT DOCUMENT SPLITTER LANGCHAIN LLM PYTHON TEXT

icodebroker

[PYTHON/LANGCHAIN] CharacterTextSplitter 클래스 : 생성자에서 chunk_size/chunk_overlap/length_function/is_separator_regex 인자를 사용해 CharacterTextSplitter 객체 만들기

분류

보관함