6월 2024 - 32 중 3 번째 페이지

[PYTHON/LANGCHAIN] HTMLHeaderTextSplitter 클래스 : 생성한 문서 리스트를 RecursiveCharacterTextSplitter 객체를 사용해 청크 크기 제한하기

■ HTMLHeaderTextSplitter 클래스에서 생성한 문서 리스트를 RecursiveCharacterTextSplitter 객체를 사용해 청크 크기를 제한하는 방법을 보여준다. ▶ main.py


from langchain_text_splitters import HTMLHeaderTextSplitter
from langchain_text_splitters import RecursiveCharacterTextSplitter

headerTupeListToSplitOn = [
    ("h1", "Header 1"),
    ("h2", "Header 2"),
    ("h3", "Header 3"),
]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn)

documentList1 = htmlHeaderTextSplitter.split_text_from_file("source.html")

recursiveCharacterTextSplitter = RecursiveCharacterTextSplitter(chunk_size = 100, chunk_overlap = 10)

documentList2 = recursiveCharacterTextSplitter.split_documents(documentList1)

print(documentList2)

"""
[
    Document(page_content='하이퍼텍스트 마크업 언어(HyperText Markup Language, HTML)는 웹 브라우저에 표시되도록 설계된 문서의 표준 마크업 언어입니다.', metadata={'Header 1': 'HTML을 로드하는 방법'}),
    Document(page_content='이는 다운스트림에서 사용할 수 있는 LangChain 문서 개체에 HTML 문서를 로드하는 방법을 다룹니다.', metadata={'Header 1': 'HTML을 로드하는 방법'}),
    Document(page_content='HTML 파일을 구문 분석하려면 특수 도구가 필요한 경우가 많습니다. 여기서는 pip를 통해 설치할 수 있는 Unstructured 및 BeautifulSoup4를 통한 구문', metadata={'Header 1': 'HTML을 로드하는 방법'}),
    Document(page_content='통한 구문 분석을 보여줍니다. Azure AI Document Intelligence 또는 FireCrawl과 같은 추가 서비스와의 통합을 찾으려면 통합 페이지로 이동하세요.', metadata={'Header 1': 'HTML을 로드하는 방법'})
]
"""

from langchain_text_splitters import HTMLHeaderTextSplitter

from langchain_text_splitters import RecursiveCharacterTextSplitter

headerTupeListToSplitOn = [

("h1", "Header 1"),

("h2", "Header 2"),

("h3", "Header 3"),

]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn)

documentList1 = htmlHeaderTextSplitter.split_text_from_file("source.html")

recursiveCharacterTextSplitter = RecursiveCharacterTextSplitter(chunk_size = 100, chunk_overlap = 10)

documentList2 = recursiveCharacterTextSplitter.split_documents(documentList1)

print(documentList2)

"""

[

Document(page_content='하이퍼텍스트 마크업 언어(HyperText Markup Language, HTML)는 웹 브라우저에 표시되도록 설계된 문서의 표준 마크업 언어입니다.', metadata={'Header 1': 'HTML을 로드하는 방법'}),

Document(page_content='이는 다운스트림에서 사용할 수 있는 LangChain 문서 개체에 HTML 문서를 로드하는 방법을 다룹니다.', metadata={'Header 1': 'HTML을 로드하는 방법'}),

Document(page_content='HTML 파일을 구문 분석하려면 특수 도구가 필요한 경우가 많습니다. 여기서는 pip를 통해 설치할 수 있는 Unstructured 및 BeautifulSoup4를 통한 구문', metadata={'Header 1': 'HTML을 로드하는 방법'}),

Document(page_content='통한 구문 분석을 보여줍니다. Azure AI Document Intelligence 또는 FireCrawl과 같은 추가 서비스와의 통합을 찾으려면 통합 페이지로 이동하세요.', metadata={'Header 1': 'HTML을 로드하는 방법'})

]

"""

▶ requirements.txt


annotated-types==0.7.0
certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
lxml==5.2.2
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
tenacity==8.4.2
typing_extensions==4.12.2
urllib3==2.2.2

annotated-types==0.7.0

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

lxml==5.2.2

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

tenacity==8.4.2

typing_extensions==4.12.2

urllib3==2.2.2

※ pip

[PYTHON/LANGCHAIN] HTMLHeaderTextSplitter 클래스 : split_text_from_file 메소드를 사용해 HTML 파일에서 문서 리스트 구하기

■ HTMLHeaderTextSplitter 클래스의 split_text_from_file 메소드를 사용해 HTML 파일에서 문서 리스트를 구하는 방법을 보여준다. ▶ main.py


from langchain_text_splitters import HTMLHeaderTextSplitter

headerTupeListToSplitOn = [
    ("h1", "Header 1"),
    ("h2", "Header 2"),
    ("h3", "Header 3"),
]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn)

documentList = htmlHeaderTextSplitter.split_text_from_file("source.html")

print(documentList)

"""
[
    Document(page_content='하이퍼텍스트 마크업 언어(HyperText Markup Language, HTML)는 웹 브라우저에 표시되도록 설계된 문서의 표준 마크업 언어입니다.  \n이는 다운스트림에서 사용할 수 있는 LangChain 문서 개체에 HTML 문서를 로드하는 방법을 다룹니다.  \nHTML 파일을 구문 분석하려면 특수 도구가 필요한 경우가 많습니다. 여기서는 pip를 통해 설치할 수 있는 Unstructured 및 BeautifulSoup4를 통한 구문 분석을 보여줍니다. Azure AI Document Intelligence 또는 FireCrawl과 같은 추가 서비스와의 통합을 찾으려면 통합 페이지로 이동하세요.', metadata={'Header 1': 'HTML을 로드하는 방법'})
]
"""

from langchain_text_splitters import HTMLHeaderTextSplitter

headerTupeListToSplitOn = [

("h1", "Header 1"),

("h2", "Header 2"),

("h3", "Header 3"),

]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn)

documentList = htmlHeaderTextSplitter.split_text_from_file("source.html")

print(documentList)

"""

[

Document(page_content='하이퍼텍스트 마크업 언어(HyperText Markup Language, HTML)는 웹 브라우저에 표시되도록 설계된 문서의 표준 마크업 언어입니다. \n이는 다운스트림에서 사용할 수 있는 LangChain 문서 개체에 HTML 문서를 로드하는 방법을 다룹니다. \nHTML 파일을 구문 분석하려면 특수 도구가 필요한 경우가 많습니다. 여기서는 pip를 통해 설치할 수 있는 Unstructured 및 BeautifulSoup4를 통한 구문 분석을 보여줍니다. Azure AI Document Intelligence 또는 FireCrawl과 같은 추가 서비스와의 통합을 찾으려면 통합 페이지로 이동하세요.', metadata={'Header 1': 'HTML을 로드하는 방법'})

]

"""

▶ requirements.txt


annotated-types==0.7.0
certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
lxml==5.2.2
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
tenacity==8.4.2
typing_extensions==4.12.2
urllib3==2.2.2

annotated-types==0.7.0

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

lxml==5.2.2

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

tenacity==8.4.2

typing_extensions==4.12.2

urllib3==2.2.2

※ pip install

[PYTHON/LANGCHAIN] HTMLHeaderTextSplitter 클래스 : split_text_from_url 메소드를 사용해 웹 사이트에서 문서 리스트 구하기

■ HTMLHeaderTextSplitter 클래스의 split_text_from_url 메소드를 사용해 웹 사이트에서 문서 리스트를 구하는 방법을 보여준다. ▶ main.py


from langchain_text_splitters import HTMLHeaderTextSplitter

headerTupeListToSplitOn = [
    ("h1", "Header 1"),
    ("h2", "Header 2"),
    ("h3", "Header 3"),
]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn)

documentList = htmlHeaderTextSplitter.split_text_from_url("https://plato.stanford.edu/entries/goedel/")

print(len(documentList))

"""
24
"""

from langchain_text_splitters import HTMLHeaderTextSplitter

headerTupeListToSplitOn = [

("h1", "Header 1"),

("h2", "Header 2"),

("h3", "Header 3"),

]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn)

documentList = htmlHeaderTextSplitter.split_text_from_url("https://plato.stanford.edu/entries/goedel/")

print(len(documentList))

"""

▶ requirements.txt


annotated-types==0.7.0
certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
lxml==5.2.2
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
tenacity==8.4.2
typing_extensions==4.12.2
urllib3==2.2.2

annotated-types==0.7.0

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

lxml==5.2.2

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

tenacity==8.4.2

typing_extensions==4.12.2

urllib3==2.2.2

※ pip langchain-text-splitters

[PYTHON/LANGCHAIN] HTMLHeaderTextSplitter 클래스 : 생성자에서 return_each_element 인자를 사용해 HTML 문자열에서 문서 리스트 구하기

■ HTMLHeaderTextSplitter 클래스의 생성자에서 return_each_element 인자를 사용해 HTML 문자열에서 문서 리스트를 구하는 방법을 보여준다. ▶ main.py


from langchain_text_splitters import HTMLHeaderTextSplitter

htmlString = """
<!DOCTYPE html>
<html>
    <body>
        <div>
            <h1>Foo</h1>
            <p>Some intro text about Foo.</p>
            <div>
                <h2>Bar main section</h2>
                <p>Some intro text about Bar.</p>
                <h3>Bar subsection 1</h3>
                <p>Some text about the first subtopic of Bar.</p>
                <h3>Bar subsection 2</h3>
                <p>Some text about the second subtopic of Bar.</p>
            </div>
            <div>
                <h2>Baz</h2>
                <p>Some text about Baz</p>
            </div>
            <br>
            <p>Some concluding text about Foo</p>
        </div>
    </body>
</html>
"""

headerTupeListToSplitOn = [
    ("h1", "Header 1"),
    ("h2", "Header 2"),
    ("h3", "Header 3"),
]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn, return_each_element = True)

documentList = htmlHeaderTextSplitter.split_text(htmlString)

print(documentList)

"""
[
    Document(page_content='Foo'),
    Document(page_content='Some intro text about Foo.', metadata={'Header 1': 'Foo'}),
    Document(page_content='Bar main section Bar subsection 1 Bar subsection 2', metadata={'Header 1': 'Foo'}),
    Document(page_content='Some intro text about Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section'}),
    Document(page_content='Some text about the first subtopic of Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section', 'Header 3': 'Bar subsection 1'}),
    Document(page_content='Some text about the second subtopic of Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section', 'Header 3': 'Bar subsection 2'}),
    Document(page_content='Baz', metadata={'Header 1': 'Foo'}),
    Document(page_content='Some text about Baz', metadata={'Header 1': 'Foo', 'Header 2': 'Baz'}),
    Document(page_content='Some concluding text about Foo', metadata={'Header 1': 'Foo'})
]
"""

from langchain_text_splitters import HTMLHeaderTextSplitter

htmlString = """

<!DOCTYPE html>

<html>

<body>

<div>

<p>Some intro text about Foo.</p>

<div>

<h2>Bar main section</h2>

<p>Some intro text about Bar.</p>

<h3>Bar subsection 1</h3>

<p>Some text about the first subtopic of Bar.</p>

<h3>Bar subsection 2</h3>

<p>Some text about the second subtopic of Bar.</p>

</div>

<div>

<p>Some text about Baz</p>

</div>

<br>

<p>Some concluding text about Foo</p>

</div>

</body>

</html>

"""

headerTupeListToSplitOn = [

("h1", "Header 1"),

("h2", "Header 2"),

("h3", "Header 3"),

]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn, return_each_element = True)

documentList = htmlHeaderTextSplitter.split_text(htmlString)

print(documentList)

"""

[

Document(page_content='Foo'),

Document(page_content='Some intro text about Foo.', metadata={'Header 1': 'Foo'}),

Document(page_content='Bar main section Bar subsection 1 Bar subsection 2', metadata={'Header 1': 'Foo'}),

Document(page_content='Some intro text about Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section'}),

Document(page_content='Some text about the first subtopic of Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section', 'Header 3': 'Bar subsection 1'}),

Document(page_content='Some text about the second subtopic of Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section', 'Header 3': 'Bar subsection 2'}),

Document(page_content='Baz', metadata={'Header 1': 'Foo'}),

Document(page_content='Some text about Baz', metadata={'Header 1': 'Foo', 'Header 2': 'Baz'}),

Document(page_content='Some concluding text about Foo', metadata={'Header 1': 'Foo'})

]

"""

▶ requirements.txt


annotated-types==0.7.0
certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
lxml==5.2.2
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
tenacity==8.4.2
typing_extensions==4.12.2
urllib3==2.2.2

annotated-types==0.7.0

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

lxml==5.2.2

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

tenacity==8.4.2

typing_extensions==4.12.2

urllib3==2.2.2

※ pip

[PYTHON/LANGCHAIN] HTMLHeaderTextSplitter 클래스 : split_text 메소드를 사용해 HTML 문자열에서 문서 리스트 구하기

■ HTMLHeaderTextSplitter 클래스의 split_text 메소드를 사용해 HTML 문자열에서 문서 리스트를 구하는 방법을 보여준다. ▶ main.py


from langchain_text_splitters import HTMLHeaderTextSplitter

htmlString = """
<!DOCTYPE html>
<html>
    <body>
        <div>
            <h1>Foo</h1>
            <p>Some intro text about Foo.</p>
            <div>
                <h2>Bar main section</h2>
                <p>Some intro text about Bar.</p>
                <h3>Bar subsection 1</h3>
                <p>Some text about the first subtopic of Bar.</p>
                <h3>Bar subsection 2</h3>
                <p>Some text about the second subtopic of Bar.</p>
            </div>
            <div>
                <h2>Baz</h2>
                <p>Some text about Baz</p>
            </div>
            <br>
            <p>Some concluding text about Foo</p>
        </div>
    </body>
</html>
"""

headerTupeListToSplitOn = [
    ("h1", "Header 1"),
    ("h2", "Header 2"),
    ("h3", "Header 3"),
]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn)

documentList = htmlHeaderTextSplitter.split_text(htmlString)

print(documentList)

"""
[
    Document(page_content='Foo'),
    Document(page_content='Some intro text about Foo.  \nBar main section Bar subsection 1 Bar subsection 2', metadata={'Header 1': 'Foo'}),
    Document(page_content='Some intro text about Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section'}),
    Document(page_content='Some text about the first subtopic of Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section', 'Header 3': 'Bar subsection 1'}),
    Document(page_content='Some text about the second subtopic of Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section', 'Header 3': 'Bar subsection 2'}),
    Document(page_content='Baz', metadata={'Header 1': 'Foo'}),
    Document(page_content='Some text about Baz', metadata={'Header 1': 'Foo', 'Header 2': 'Baz'}),
    Document(page_content='Some concluding text about Foo', metadata={'Header 1': 'Foo'})
]
"""

from langchain_text_splitters import HTMLHeaderTextSplitter

htmlString = """

<!DOCTYPE html>

<html>

<body>

<div>

<p>Some intro text about Foo.</p>

<div>

<h2>Bar main section</h2>

<p>Some intro text about Bar.</p>

<h3>Bar subsection 1</h3>

<p>Some text about the first subtopic of Bar.</p>

<h3>Bar subsection 2</h3>

<p>Some text about the second subtopic of Bar.</p>

</div>

<div>

<p>Some text about Baz</p>

</div>

<br>

<p>Some concluding text about Foo</p>

</div>

</body>

</html>

"""

headerTupeListToSplitOn = [

("h1", "Header 1"),

("h2", "Header 2"),

("h3", "Header 3"),

]

htmlHeaderTextSplitter = HTMLHeaderTextSplitter(headerTupeListToSplitOn)

documentList = htmlHeaderTextSplitter.split_text(htmlString)

print(documentList)

"""

[

Document(page_content='Foo'),

Document(page_content='Some intro text about Foo. \nBar main section Bar subsection 1 Bar subsection 2', metadata={'Header 1': 'Foo'}),

Document(page_content='Some intro text about Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section'}),

Document(page_content='Some text about the first subtopic of Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section', 'Header 3': 'Bar subsection 1'}),

Document(page_content='Some text about the second subtopic of Bar.', metadata={'Header 1': 'Foo', 'Header 2': 'Bar main section', 'Header 3': 'Bar subsection 2'}),

Document(page_content='Baz', metadata={'Header 1': 'Foo'}),

Document(page_content='Some text about Baz', metadata={'Header 1': 'Foo', 'Header 2': 'Baz'}),

Document(page_content='Some concluding text about Foo', metadata={'Header 1': 'Foo'})

]

"""

▶ requirements.txt


annotated-types==0.7.0
certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
lxml==5.2.2
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
tenacity==8.4.2
typing_extensions==4.12.2
urllib3==2.2.2

annotated-types==0.7.0

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

lxml==5.2.2

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

tenacity==8.4.2

typing_extensions==4.12.2

urllib3==2.2.2

※ psp install

[PYTHON/COMMON] langchain-text-splitters 패키지 설치하기

■ langchain-text-splitters 패키지를 설치하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 명령 프롬프트에서 아래 명령을 실행한다. ▶ 실행 명령


pip install langchain-text-splitters

pip install langchain-text-splitters

[PYTHON/LANGCHAIN] RecursiveCharacterTextSplitter 클래스 : 생성자에서 separators 인자 사용하기

■ RecursiveCharacterTextSplitter 클래스의 생성자에서 separators 인자를 사용하는 방법을 보여준다. ※ 일부 쓰기 시스템에는 단어 경계가 없다(예 : 중국어, 일본어, 태국어). ※ ["\n\n",

[PYTHON/LANGCHAIN] RecursiveCharacterTextSplitter 클래스 : create_documents 메소드를 사용해 문자열 리스트에서 문서 리스트 만들기

■ RecursiveCharacterTextSplitter 클래스의 create_documents 메소드를 사용해 문자열 리스트에서 문서 리스트를 만드는 방법을 보여준다. ▶ main.py


from langchain_text_splitters import RecursiveCharacterTextSplitter

with open("state_of_the_union.txt") as textIOWrapper:
    fileContent = textIOWrapper.read()

recursiveCharacterTextSplitter = RecursiveCharacterTextSplitter(
    # 보여드리기 위해 아주 작은 청크 크기를 설정한다.
    chunk_size         = 100,
    chunk_overlap      = 20,
    length_function    = len,
    is_separator_regex = False,
)

documentList = recursiveCharacterTextSplitter.create_documents([fileContent])

for document in documentList[:3]:
    print(document.page_content)
    print()

from langchain_text_splitters import RecursiveCharacterTextSplitter

with open("state_of_the_union.txt") as textIOWrapper:

fileContent = textIOWrapper.read()

recursiveCharacterTextSplitter = RecursiveCharacterTextSplitter(

# 보여드리기 위해 아주 작은 청크 크기를 설정한다.

chunk_size = 100,

chunk_overlap = 20,

length_function = len,

is_separator_regex = False,

)

documentList = recursiveCharacterTextSplitter.create_documents([fileContent])

for document in documentList[:3]:

print(document.page_content)

print()

▶ requirements.txt


annotated-types==0.7.0
certifi==2024.6.2
charset-normalizer==3.3.2
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
tenacity==8.4.2
typing_extensions==4.12.2
urllib3==2.2.2

annotated-types==0.7.0

certifi==2024.6.2

charset-normalizer==3.3.2

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

tenacity==8.4.2

typing_extensions==4.12.2

urllib3==2.2.2

※ pip install

[PYTHON/LANGCHAIN] RunnableSequence 클래스 : 문서 검색 모듈과 질문/답변 생성 모듈 연결하기

■ RunnableSequence 클래스를 사용해 문서 검색 모듈과 질문/답변 생성 모듈을 연결하는 방법을 보여준다. ※ [create_retrieval_chain 함수 : 문서 검색 모듈과 질문/답변 생성

[C#/WINUI3/COMMUNITY TOOLKIT/.NET8] MarkdownTextBlock 클래스 : MarkdownRendered 이벤트를 사용해 Text 속성 변경시 문서 크기를 컨트롤 크기로 설정하기 1

■ MarkdownTextBlock 클래스의 MarkdownRendered 이벤트를 사용해 Text 속성 변경시 문서 크기를 컨트롤 크기로 설정하는 방법을 보여준다. ▶ MainPage.xaml


<?xml version="1.0" encoding="utf-8"?>
<Page x:Class="TestProject.MainPage"
    xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
    xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
    xmlns:control="using:CommunityToolkit.WinUI.UI.Controls"
    Background="{ThemeResource ApplicationPageBackgroundThemeBrush}"
    FontFamily="나눔고딕코딩"
    FontSize="16">
    <Grid
        Margin="10"
        Background="DarkGray">
        <control:MarkdownTextBlock x:Name="markdownTextBlock"
            Background="White"
            Padding="10" />
        <Button Name="changeTextButton"
            HorizontalAlignment="Right"
            VerticalAlignment="Bottom"
            Margin="10"
            Width="100"
            Height="30"
            Content="텍스트 변경" />
    </Grid>
</Page>

<?xml version="1.0" encoding="utf-8"?>

<Page x:Class="TestProject.MainPage"

xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"

xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"

xmlns:control="using:CommunityToolkit.WinUI.UI.Controls"

Background="{ThemeResource ApplicationPageBackgroundThemeBrush}"

FontFamily="나눔고딕코딩"

FontSize="16">

<Grid

Margin="10"

Background="DarkGray">

<control:MarkdownTextBlock x:Name="markdownTextBlock"

Background="White"

Padding="10" />

<Button Name="changeTextButton"

HorizontalAlignment="Right"

VerticalAlignment="Bottom"

Margin="10"

Width="100"

Height="30"

Content="텍스트 변경" />

</Grid>

</Page>

▶ MainPage.xaml.cs


using Windows.Foundation;

using Microsoft.UI.Xaml;
using Microsoft.UI.Xaml.Controls;

using CommunityToolkit.WinUI.UI.Controls;

namespace TestProject;

/// <summary>
/// 메인 페이지
/// </summary>
public sealed partial class MainPage : Page
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Field
    ////////////////////////////////////////////////////////////////////////////////////////// Private

    #region Field

    /// <summary>
    /// 마크다운 컨텐트 1
    /// </summary>
    private string markdownContent1 = @"
# 제목

이것은 **Markdown** 문서입니다.

- 목록 항목 1
- 목록 항목 2
- 목록 항목 3

```csharp
// 코드 블록 예제
Console.WriteLine(""Hello, World!"");
```
";

    /// <summary>
    /// 마크다운 컨텐트 2
    /// </summary>
    private string markdownContent2 = @"
";
    #endregion

    //////////////////////////////////////////////////////////////////////////////////////////////////// Constructor
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region 생성자 - MainPage()

    /// <summary>
    /// 생성자
    /// </summary>
    public MainPage()
    {
        InitializeComponent();

        this.markdownTextBlock.MarkdownRendered += markdownTextBlock_MarkdownRendered;
        this.changeTextButton.Click             += changeTextButton_Click;

        this.markdownTextBlock.Text = markdownContent1;
    }

    #endregion

    //////////////////////////////////////////////////////////////////////////////////////////////////// Method
    ////////////////////////////////////////////////////////////////////////////////////////// Private
    //////////////////////////////////////////////////////////////////////////////// Event

    #region 마크다운 텍스트 블럭 마크다운 렌더링시 처리하기 - markdownTextBlock_MarkdownRendered(sender, e)

    /// <summary>
    /// 마크다운 텍스트 블럭 마크다운 렌더링시 처리하기
    /// </summary>
    /// <param name="sender">이벤트 발생자</param>
    /// <param name="e">이벤트 인자</param>
    private void markdownTextBlock_MarkdownRendered(object sender, MarkdownRenderedEventArgs e)
    {
        SetMarkdownTextBlockSize();
    }

    #endregion
    #region 텍스트 변경 버튼 클릭시 처리하기 - changeTextButton_Click(sender, e)

    /// <summary>
    /// 텍스트 변경 버튼 클릭시 처리하기
    /// </summary>
    /// <param name="sender">이벤트 발생자</param>
    /// <param name="e">이벤트 인자</param>
    private void changeTextButton_Click(object sender, RoutedEventArgs e)
    {
        if(this.markdownTextBlock.Text == this.markdownContent1)
        {
            this.markdownTextBlock.Text = this.markdownContent2;
        }
        else
        {
            this.markdownTextBlock.Text = this.markdownContent1;
        }
    }

    #endregion

    //////////////////////////////////////////////////////////////////////////////// Function

    #region 마크다운 텍스브 블럭 크기 설정하기 - SetMarkdownTextBlockSize()

    /// <summary>
    /// 마크다운 텍스브 블럭 크기 설정하기
    /// </summary>
    private void SetMarkdownTextBlockSize()
    {
        if(string.IsNullOrWhiteSpace(this.markdownTextBlock.Text))
        {
            this.markdownTextBlock.Width  = 200;
            this.markdownTextBlock.Height = 50;
        }
        else
        {
            this.markdownTextBlock.Width  = double.NaN;
            this.markdownTextBlock.Height = double.NaN;

            this.markdownTextBlock.Measure(new Size(double.PositiveInfinity, double.PositiveInfinity));

            this.markdownTextBlock.Width  = this.markdownTextBlock.DesiredSize.Width + 20;
            this.markdownTextBlock.Height = this.markdownTextBlock.DesiredSize.Height;
        }
    }

    #endregion
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

using Windows.Foundation;

using Microsoft.UI.Xaml;

using Microsoft.UI.Xaml.Controls;

using CommunityToolkit.WinUI.UI.Controls;

namespace TestProject;

/// <summary>

/// 메인 페이지

/// </summary>

public sealed partial class MainPage : Page

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Field

////////////////////////////////////////////////////////////////////////////////////////// Private

#region Field

/// <summary>

/// 마크다운 컨텐트 1

/// </summary>

private string markdownContent1 = @"

# 제목

이것은 **Markdown** 문서입니다.

- 목록 항목 1

- 목록 항목 2

- 목록 항목 3

```csharp

// 코드 블록 예제

Console.WriteLine(""Hello, World!"");

```

/// <summary>

/// 마크다운 컨텐트 2

/// </summary>

private string markdownContent2 = @"

#endregion

//////////////////////////////////////////////////////////////////////////////////////////////////// Constructor

////////////////////////////////////////////////////////////////////////////////////////// Public

#region 생성자 - MainPage()

/// <summary>

/// 생성자

/// </summary>

public MainPage()

{

InitializeComponent();

this.markdownTextBlock.MarkdownRendered += markdownTextBlock_MarkdownRendered;

this.changeTextButton.Click += changeTextButton_Click;

this.markdownTextBlock.Text = markdownContent1;

}

#endregion

//////////////////////////////////////////////////////////////////////////////////////////////////// Method

////////////////////////////////////////////////////////////////////////////////////////// Private

//////////////////////////////////////////////////////////////////////////////// Event

#region 마크다운 텍스트 블럭 마크다운 렌더링시 처리하기 - markdownTextBlock_MarkdownRendered(sender, e)

/// <summary>

/// 마크다운 텍스트 블럭 마크다운 렌더링시 처리하기

/// </summary>

/// <param name="sender">이벤트 발생자</param>

/// <param name="e">이벤트 인자</param>

private void markdownTextBlock_MarkdownRendered(object sender, MarkdownRenderedEventArgs e)

{

SetMarkdownTextBlockSize();

}

#endregion

#region 텍스트 변경 버튼 클릭시 처리하기 - changeTextButton_Click(sender, e)

/// <summary>

/// 텍스트 변경 버튼 클릭시 처리하기

/// </summary>

/// <param name="sender">이벤트 발생자</param>

/// <param name="e">이벤트 인자</param>

private void changeTextButton_Click(object sender, RoutedEventArgs e)

{

if(this.markdownTextBlock.Text == this.markdownContent1)

{

this.markdownTextBlock.Text = this.markdownContent2;

}

else

{

this.markdownTextBlock.Text = this.markdownContent1;

}

#endregion

//////////////////////////////////////////////////////////////////////////////// Function

#region 마크다운 텍스브 블럭 크기 설정하기 - SetMarkdownTextBlockSize()

/// <summary>

/// 마크다운 텍스브 블럭 크기 설정하기

/// </summary>

private void SetMarkdownTextBlockSize()

{

if(string.IsNullOrWhiteSpace(this.markdownTextBlock.Text))

{

this.markdownTextBlock.Width = 200;

this.markdownTextBlock.Height = 50;

}

else

{

this.markdownTextBlock.Width = double.NaN;

this.markdownTextBlock.Height = double.NaN;

this.markdownTextBlock.Measure(new Size(double.PositiveInfinity, double.PositiveInfinity));

this.markdownTextBlock.Width = this.markdownTextBlock.DesiredSize.Width + 20;

this.markdownTextBlock.Height = this.markdownTextBlock.DesiredSize.Height;

}

#endregion

}

[C#/WINUI3/COMMUNITY TOOLKIT/.NET8] CommunityToolkit.WinUI.UI.Controls.Markdown 누겟 설치하기

■ CommunityToolkit.WinUI.UI.Controls.Markdown 누겟을 설치하는 방법을 보여준다. 1. Visual Studio를 실행한다. 2. [도구] / [NuGet 패키지 관리자] / [패키지 관리자 콘솔] 메뉴를 실행한다.

[C#/WINUI3/COMMUNITY TOOLKIT/.NET6] MarkdownTextBlock 클래스 : Measure 메소드를 사용해 문서 크기를 컨트롤 크기로 설정하기

■ MarkdownTextBlock 클래스의 Measure 메소드를 사용해 문서 크기를 컨트롤 크기로 설정하는 방법을 보여준다. ▶ MainPage.xaml


<?xml version="1.0" encoding="utf-8"?>
<Page x:Class="TestProject.MainPage"
    xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
    xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
    xmlns:control="using:CommunityToolkit.WinUI.UI.Controls"
    Background="{ThemeResource ApplicationPageBackgroundThemeBrush}"
    FontFamily="나눔고딕코딩"
    FontSize="16">
    <Grid
        Margin="10"
        Background="DarkGray">
        <control:MarkdownTextBlock x:Name="markdownTextBlock"
            Background="White"
            Padding="10" />
    </Grid>
</Page>

<?xml version="1.0" encoding="utf-8"?>

<Page x:Class="TestProject.MainPage"

xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"

xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"

xmlns:control="using:CommunityToolkit.WinUI.UI.Controls"

Background="{ThemeResource ApplicationPageBackgroundThemeBrush}"

FontFamily="나눔고딕코딩"

FontSize="16">

<Grid

Margin="10"

Background="DarkGray">

<control:MarkdownTextBlock x:Name="markdownTextBlock"

Background="White"

Padding="10" />

</Grid>

</Page>

▶ MainPage.xaml.cs


using Windows.Foundation;

using Microsoft.UI.Xaml.Controls;

namespace TestProject;

/// <summary>
/// 메인 페이지
/// </summary>
public sealed partial class MainPage : Page
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Constructor
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region 생성자 - MainPage()

    /// <summary>
    /// 생성자
    /// </summary>
    public MainPage()
    {
        InitializeComponent();

        string markdownContent = @"
# 제목

이것은 **Markdown** 문서입니다.

- 목록 항목 1
- 목록 항목 2
- 목록 항목 3

```csharp
// 코드 블록 예제
Console.WriteLine(""Hello, World!"");
```
";

        this.markdownTextBlock.Text = markdownContent;

        this.markdownTextBlock.Measure(new Size(double.PositiveInfinity, double.PositiveInfinity));

        this.markdownTextBlock.Width  = markdownTextBlock.DesiredSize.Width + 20;
        this.markdownTextBlock.Height = markdownTextBlock.DesiredSize.Height;
    }

    #endregion
}

using Windows.Foundation;

using Microsoft.UI.Xaml.Controls;

namespace TestProject;

/// <summary>

/// 메인 페이지

/// </summary>

public sealed partial class MainPage : Page

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Constructor

////////////////////////////////////////////////////////////////////////////////////////// Public

#region 생성자 - MainPage()

/// <summary>

/// 생성자

/// </summary>

public MainPage()

{

InitializeComponent();

string markdownContent = @"

# 제목

이것은 **Markdown** 문서입니다.

- 목록 항목 1

- 목록 항목 2

- 목록 항목 3

```csharp

// 코드 블록 예제

Console.WriteLine(""Hello, World!"");

```

this.markdownTextBlock.Text = markdownContent;

this.markdownTextBlock.Measure(new Size(double.PositiveInfinity, double.PositiveInfinity));

this.markdownTextBlock.Width = markdownTextBlock.DesiredSize.Width + 20;

this.markdownTextBlock.Height = markdownTextBlock.DesiredSize.Height;

}

#endregion

}

TestProject.zip

[C#/WINUI3/COMMUNITY TOOLKIT/.NET6] MarkdownTextBlock 클래스 : 마크다운 표시하기

■ MarkdownTextBlock 클래스를 사용해 마크다운을 표시하는 방법을 보여준다. ▶ MainPage.xaml


<?xml version="1.0" encoding="utf-8"?>
<Page x:Class="TestProject.MainPage"
    xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"
    xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"
    xmlns:control="using:CommunityToolkit.WinUI.UI.Controls"
    Background="{ThemeResource ApplicationPageBackgroundThemeBrush}"
    FontFamily="나눔고딕코딩"
    FontSize="16">
    <Grid
        Margin="10"
        Background="DarkGray">
        <control:MarkdownTextBlock x:Name="markdownTextBlock"
            Background="White"
            Padding="10" />
    </Grid>
</Page>

<?xml version="1.0" encoding="utf-8"?>

<Page x:Class="TestProject.MainPage"

xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"

xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"

xmlns:control="using:CommunityToolkit.WinUI.UI.Controls"

Background="{ThemeResource ApplicationPageBackgroundThemeBrush}"

FontFamily="나눔고딕코딩"

FontSize="16">

<Grid

Margin="10"

Background="DarkGray">

<control:MarkdownTextBlock x:Name="markdownTextBlock"

Background="White"

Padding="10" />

</Grid>

</Page>

▶ MainPage.xaml.cs


using Microsoft.UI.Xaml.Controls;

namespace TestProject;

/// <summary>
/// 메인 페이지
/// </summary>
public sealed partial class MainPage : Page
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Constructor
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region 생성자 - MainPage()

    /// <summary>
    /// 생성자
    /// </summary>
    public MainPage()
    {
        InitializeComponent();

        string markdownContent = @"
# 제목

이것은 **Markdown** 문서입니다.

- 목록 항목 1
- 목록 항목 2
- 목록 항목 3

```csharp
// 코드 블록 예제
Console.WriteLine(""Hello, World!"");
```
";

        this.markdownTextBlock.Text = markdownContent;
    }

    #endregion
}

using Microsoft.UI.Xaml.Controls;

namespace TestProject;

/// <summary>

/// 메인 페이지

/// </summary>

public sealed partial class MainPage : Page

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Constructor

////////////////////////////////////////////////////////////////////////////////////////// Public

#region 생성자 - MainPage()

/// <summary>

/// 생성자

/// </summary>

public MainPage()

{

InitializeComponent();

string markdownContent = @"

# 제목

이것은 **Markdown** 문서입니다.

- 목록 항목 1

- 목록 항목 2

- 목록 항목 3

```csharp

// 코드 블록 예제

Console.WriteLine(""Hello, World!"");

```

this.markdownTextBlock.Text = markdownContent;

}

#endregion

}

TestProject.zip

[PYTHON/AIOFILES] AsyncTextIOWrapper 클래스 : flush 메소드를 사용해 파일 버퍼 비우기

■ AsyncTextIOWrapper 클래스의 flush 메소드를 사용해 파일 버퍼를 비우는 방법을 보여준다. ▶ 예제 코드 (PY)


import asyncio
import aiofiles

async def main():
    async with aiofiles.open("sample.txt", mode = "w") as asyncTextIOWrapper:
        await asyncTextIOWrapper.write("Hello, World!")
        await asyncTextIOWrapper.flush()

asyncio.run(main())

import asyncio

import aiofiles

async def main():

async with aiofiles.open("sample.txt", mode = "w") as asyncTextIOWrapper:

await asyncTextIOWrapper.write("Hello, World!")

await asyncTextIOWrapper.flush()

asyncio.run(main())

[PYTHON/AIOFILES] AsyncTextIOWrapper 클래스 : seek 메소드를 사용해 파일 포인터 설정하기

■ AsyncTextIOWrapper 클래스의 seek 메소드를 사용해 파일 포인터를 설정하는 방법을 보여준다. ▶ 예제 코드 (PY)


import asyncio
import aiofiles

async def main():
    async with aiofiles.open("sample.txt", mode = "w") as asyncTextIOWrapper:
        await asyncTextIOWrapper.write("Hello, World!")

    async with aiofiles.open("sample.txt", mode = "r") as asyncTextIOWrapper:
        await asyncTextIOWrapper.seek(3)
        fileContent = await asyncTextIOWrapper.read()
        print(fileContent)

asyncio.run(main())

"""
lo, World!
"""

import asyncio

import aiofiles

async def main():

async with aiofiles.open("sample.txt", mode = "w") as asyncTextIOWrapper:

await asyncTextIOWrapper.write("Hello, World!")

async with aiofiles.open("sample.txt", mode = "r") as asyncTextIOWrapper:

await asyncTextIOWrapper.seek(3)

fileContent = await asyncTextIOWrapper.read()

print(fileContent)

asyncio.run(main())

"""

lo, World!

"""

[PYTHON/AIOFILES] AsyncTextIOWrapper 클래스 : write 메소드를 사용해 텍스트 파일 쓰기

■ AsyncTextIOWrapper 클래스의 write 메소드를 사용해 텍스트 파일을 쓰는 방법을 보여준다. ▶ 예제 코드 (PY)


import asyncio
import aiofiles

async def main():
    async with aiofiles.open("sample.txt", mode = "w") as asyncTextIOWrapper:
        await asyncTextIOWrapper.write("Hello, World!")

asyncio.run(main())

import asyncio

import aiofiles

async def main():

async with aiofiles.open("sample.txt", mode = "w") as asyncTextIOWrapper:

await asyncTextIOWrapper.write("Hello, World!")

asyncio.run(main())

[PYTHON/AIOFILES] AsyncTextIOWrapper 클래스 : read 메소드를 사용해 텍스트 파일 읽기

■ AsyncTextIOWrapper 클래스의 read 메소드를 사용해 텍스트 파일을 읽는 방법을 보여준다. ▶ 예제 코드 (PY)


import asyncio
import aiofiles

async def main():
    async with aiofiles.open("sample.md", mode = "r") as asyncTextIOWrapper:
        fintContent = await asyncTextIOWrapper.read()
        print(fintContent)

asyncio.run(main())

"""
# 제목 1단계
## 제목 2단계
### 제목 3단계
#### 제목 4단계
##### 제목 5단계
###### 제목 6단계
"""

import asyncio

import aiofiles

async def main():

async with aiofiles.open("sample.md", mode = "r") as asyncTextIOWrapper:

fintContent = await asyncTextIOWrapper.read()

print(fintContent)

asyncio.run(main())

"""

# 제목 1단계

## 제목 2단계

### 제목 3단계

#### 제목 4단계

##### 제목 5단계

###### 제목 6단계

"""

sample.zip

[PYTHON/AIOFILES] open 함수 : 텍스트 파일 비동기 열기

■ open 함수를 사용해 텍스트 파일을 비동기 여는 방법을 보여준다. ▶ 예제 코드 (PY)


import asyncio
import aiofiles

async def main():
    async with aiofiles.open("sample.md", mode = "r") as asyncTextIOWrapper:
        fintContent = await asyncTextIOWrapper.read()
        print(fintContent)

asyncio.run(main())

"""
# 제목 1단계
## 제목 2단계
### 제목 3단계
#### 제목 4단계
##### 제목 5단계
###### 제목 6단계
"""

import asyncio

import aiofiles

async def main():

async with aiofiles.open("sample.md", mode = "r") as asyncTextIOWrapper:

fintContent = await asyncTextIOWrapper.read()

print(fintContent)

asyncio.run(main())

"""

# 제목 1단계

## 제목 2단계

### 제목 3단계

#### 제목 4단계

##### 제목 5단계

###### 제목 6단계

"""

[PYTHON/LANGCHAIN] GenericLoader 클래스 : 커스텀 일반 로더 만들기

■ GenericLoader 클래스를 사용해 커스텀 일반 로더를 만드는 방법을 보여준다. ▶ main.py


from typing import Iterator

from langchain_core.document_loaders              import BaseBlobParser
from langchain_core.documents                     import Document
from langchain_core.document_loaders              import Blob
from langchain_community.document_loaders.generic import GenericLoader

class CustomBlobParser(BaseBlobParser):
    """각 라인에서 문서를 생성하는 간단한 파서이다."""

    def lazy_parse(self, blob : Blob) -> Iterator[Document]:
        """Blob을 한 줄씩 문서로 구문 분석한다."""

        lineNumber = 0

        with blob.as_bytes_io() as bufferedReader:
            for line in bufferedReader:
                lineNumber += 1
                yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

from typing import Any

class CustomGenericLoader(GenericLoader):
    @staticmethod
    def get_parser(**kwargs: Any) -> BaseBlobParser:
        """기본 파서를 클래스와 연결하려면 이 메서드를 재정의한다."""
        return CustomBlobParser()

customGenericLoader = CustomGenericLoader.from_filesystem(path = ".", glob = "*.md")

for index, document in enumerate(customGenericLoader.lazy_load()):
    if index < 5:
        print(document)

"""
page_content='# 제목 1단계\r\n' metadata={'line_number': 1, 'source': 'header.md'}
page_content='## 제목 2단계  \r\n' metadata={'line_number': 2, 'source': 'header.md'}
page_content='### 제목 3단계\r\n' metadata={'line_number': 3, 'source': 'header.md'}
page_content='#### 제목 4단계\r\n' metadata={'line_number': 4, 'source': 'header.md'}
page_content='##### 제목 5단계\r\n' metadata={'line_number': 5, 'source': 'header.md'}
"""

from typing import Iterator

from langchain_core.document_loaders import BaseBlobParser

from langchain_core.documents import Document

from langchain_core.document_loaders import Blob

from langchain_community.document_loaders.generic import GenericLoader

class CustomBlobParser(BaseBlobParser):

"""각 라인에서 문서를 생성하는 간단한 파서이다."""

def lazy_parse(self, blob : Blob) -> Iterator[Document]:

"""Blob을 한 줄씩 문서로 구문 분석한다."""

lineNumber = 0

with blob.as_bytes_io() as bufferedReader:

for line in bufferedReader:

lineNumber += 1

yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

from typing import Any

class CustomGenericLoader(GenericLoader):

@staticmethod

def get_parser(**kwargs: Any) -> BaseBlobParser:

"""기본 파서를 클래스와 연결하려면 이 메서드를 재정의한다."""

return CustomBlobParser()

customGenericLoader = CustomGenericLoader.from_filesystem(path = ".", glob = "*.md")

for index, document in enumerate(customGenericLoader.lazy_load()):

if index < 5:

print(document)

"""

page_content='# 제목 1단계\r\n' metadata={'line_number': 1, 'source': 'header.md'}

page_content='## 제목 2단계 \r\n' metadata={'line_number': 2, 'source': 'header.md'}

page_content='### 제목 3단계\r\n' metadata={'line_number': 3, 'source': 'header.md'}

page_content='#### 제목 4단계\r\n' metadata={'line_number': 4, 'source': 'header.md'}

page_content='##### 제목 5단계\r\n' metadata={'line_number': 5, 'source': 'header.md'}

"""

▶ requirements.txt


aiohttp==3.9.5
aiosignal==1.3.1
annotated-types==0.7.0
async-timeout==4.0.3
attrs==23.2.0
certifi==2024.6.2
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.0.3
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.2.6
langchain-community==0.2.6
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
marshmallow==3.21.3
multidict==6.0.5
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
SQLAlchemy==2.0.31
tenacity==8.4.2
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.2
yarl==1.9.4

aiohttp==3.9.5

aiosignal==1.3.1

annotated-types==0.7.0

async-timeout==4.0.3

attrs==23.2.0

certifi==2024.6.2

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.0.3

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.2.6

langchain-community==0.2.6

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

marshmallow==3.21.3

multidict==6.0.5

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

SQLAlchemy==2.0.31

tenacity==8.4.2

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.2

yarl==1.9.4

※ pip install langchain-community 명령을 실행했다.

[PYTHON/LANGCHAIN] GenericLoader 클래스 : lazy_load 메소드를 사용해 문서 로드하기

■ GenericLoader 클래스의 lazy_load 메소드를 사용해 문서를 로드하는 방법을 보여준다. ▶ main.py


from typing import Iterator

from langchain_core.document_loaders              import BaseBlobParser
from langchain_core.documents                     import Document
from langchain_core.document_loaders              import Blob
from langchain_community.document_loaders.generic import GenericLoader

class CustomBlobParser(BaseBlobParser):
    """각 라인에서 문서를 생성하는 간단한 파서이다."""

    def lazy_parse(self, blob : Blob) -> Iterator[Document]:
        """Blob을 한 줄씩 문서로 구문 분석한다."""

        lineNumber = 0

        with blob.as_bytes_io() as bufferedReader:
            for line in bufferedReader:
                lineNumber += 1
                yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

genericLoader = GenericLoader.from_filesystem(path = ".", glob = "*.md", parser = CustomBlobParser())

for index, document in enumerate(genericLoader.lazy_load()):
    if index < 5:
        print(document)

"""
page_content='# 제목 1단계\r\n' metadata={'line_number': 1, 'source': 'header.md'}
page_content='## 제목 2단계  \r\n' metadata={'line_number': 2, 'source': 'header.md'}
page_content='### 제목 3단계\r\n' metadata={'line_number': 3, 'source': 'header.md'}
page_content='#### 제목 4단계\r\n' metadata={'line_number': 4, 'source': 'header.md'}
page_content='##### 제목 5단계\r\n' metadata={'line_number': 5, 'source': 'header.md'}
"""

from typing import Iterator

from langchain_core.document_loaders import BaseBlobParser

from langchain_core.documents import Document

from langchain_core.document_loaders import Blob

from langchain_community.document_loaders.generic import GenericLoader

class CustomBlobParser(BaseBlobParser):

"""각 라인에서 문서를 생성하는 간단한 파서이다."""

def lazy_parse(self, blob : Blob) -> Iterator[Document]:

"""Blob을 한 줄씩 문서로 구문 분석한다."""

lineNumber = 0

with blob.as_bytes_io() as bufferedReader:

for line in bufferedReader:

lineNumber += 1

yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

genericLoader = GenericLoader.from_filesystem(path = ".", glob = "*.md", parser = CustomBlobParser())

for index, document in enumerate(genericLoader.lazy_load()):

if index < 5:

print(document)

"""

page_content='# 제목 1단계\r\n' metadata={'line_number': 1, 'source': 'header.md'}

page_content='## 제목 2단계 \r\n' metadata={'line_number': 2, 'source': 'header.md'}

page_content='### 제목 3단계\r\n' metadata={'line_number': 3, 'source': 'header.md'}

page_content='#### 제목 4단계\r\n' metadata={'line_number': 4, 'source': 'header.md'}

page_content='##### 제목 5단계\r\n' metadata={'line_number': 5, 'source': 'header.md'}

"""

▶ requirements.txt


aiohttp==3.9.5
aiosignal==1.3.1
annotated-types==0.7.0
async-timeout==4.0.3
attrs==23.2.0
certifi==2024.6.2
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.0.3
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.2.6
langchain-community==0.2.6
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
marshmallow==3.21.3
multidict==6.0.5
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
SQLAlchemy==2.0.31
tenacity==8.4.2
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.2
yarl==1.9.4

aiohttp==3.9.5

aiosignal==1.3.1

annotated-types==0.7.0

async-timeout==4.0.3

attrs==23.2.0

certifi==2024.6.2

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.0.3

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.2.6

langchain-community==0.2.6

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

marshmallow==3.21.3

multidict==6.0.5

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

SQLAlchemy==2.0.31

tenacity==8.4.2

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.2

yarl==1.9.4

※ pip install langchain-community 명령을 실행했다.

[PYTHON/LANGCHAIN] GenericLoader 클래스 : from_filesystem 정적 메소드를 사용해 GenericLoader 객체 만들기

■ GenericLoader 클래스의 from_filesystem 정적 메소드를 사용해 GenericLoader 객체를 만드는 방법을 보여준다. ▶ main.py


from typing import Iterator

from langchain_core.document_loaders              import BaseBlobParser
from langchain_core.documents                     import Document
from langchain_core.document_loaders              import Blob
from langchain_community.document_loaders.generic import GenericLoader

class CustomBlobParser(BaseBlobParser):
    """각 라인에서 문서를 생성하는 간단한 파서이다."""

    def lazy_parse(self, blob : Blob) -> Iterator[Document]:
        """Blob을 한 줄씩 문서로 구문 분석한다."""

        lineNumber = 0

        with blob.as_bytes_io() as bufferedReader:
            for line in bufferedReader:
                lineNumber += 1
                yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

genericLoader = GenericLoader.from_filesystem(path = ".", glob = "*.md", parser = CustomBlobParser())

from typing import Iterator

from langchain_core.document_loaders import BaseBlobParser

from langchain_core.documents import Document

from langchain_core.document_loaders import Blob

from langchain_community.document_loaders.generic import GenericLoader

class CustomBlobParser(BaseBlobParser):

"""각 라인에서 문서를 생성하는 간단한 파서이다."""

def lazy_parse(self, blob : Blob) -> Iterator[Document]:

"""Blob을 한 줄씩 문서로 구문 분석한다."""

lineNumber = 0

with blob.as_bytes_io() as bufferedReader:

for line in bufferedReader:

lineNumber += 1

yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

genericLoader = GenericLoader.from_filesystem(path = ".", glob = "*.md", parser = CustomBlobParser())

▶ requirements.txt


aiohttp==3.9.5
aiosignal==1.3.1
annotated-types==0.7.0
async-timeout==4.0.3
attrs==23.2.0
certifi==2024.6.2
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.0.3
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.2.6
langchain-community==0.2.6
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
marshmallow==3.21.3
multidict==6.0.5
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
SQLAlchemy==2.0.31
tenacity==8.4.2
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.2
yarl==1.9.4

aiohttp==3.9.5

aiosignal==1.3.1

annotated-types==0.7.0

async-timeout==4.0.3

attrs==23.2.0

certifi==2024.6.2

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.0.3

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.2.6

langchain-community==0.2.6

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

marshmallow==3.21.3

multidict==6.0.5

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

SQLAlchemy==2.0.31

tenacity==8.4.2

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.2

yarl==1.9.4

※ pip install langchain-community

[PYTHON/LANGCHAIN] FileSystemBlobLoader 클래스 : yield_blobs 메소드를 사용해 문서 로드하기

■ FileSystemBlobLoader 클래스의 yield_blobs 메소드를 사용해 문서를 로드하는 방법을 보여준다. ▶ main.py


from typing import Iterator

from langchain_core.document_loaders                   import BaseBlobParser
from langchain_core.documents                          import Document
from langchain_core.document_loaders                   import Blob
from langchain_community.document_loaders.blob_loaders import FileSystemBlobLoader

class CustomBlobParser(BaseBlobParser):
    """각 라인에서 문서를 생성하는 간단한 파서이다."""

    def lazy_parse(self, blob : Blob) -> Iterator[Document]:
        """Blob을 한 줄씩 문서로 구문 분석한다."""

        lineNumber = 0

        with blob.as_bytes_io() as bufferedReader:
            for line in bufferedReader:
                lineNumber += 1
                yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

fileSystemBlobLoader = FileSystemBlobLoader(path = ".", glob = "*.md")

customBlobParser = CustomBlobParser()

for blob in fileSystemBlobLoader.yield_blobs():
    for document in customBlobParser.lazy_parse(blob):
        print(document.page_content)

"""
# 제목 1단계

## 제목 2단계

### 제목 3단계

#### 제목 4단계

##### 제목 5단계

###### 제목 6단계
1. 첫번째

1. 두번째

1. 세번째



+ 항목1

    - 항목 2

      * 항목 3

        + 항목 4
"""

from typing import Iterator

from langchain_core.document_loaders import BaseBlobParser

from langchain_core.documents import Document

from langchain_core.document_loaders import Blob

from langchain_community.document_loaders.blob_loaders import FileSystemBlobLoader

class CustomBlobParser(BaseBlobParser):

"""각 라인에서 문서를 생성하는 간단한 파서이다."""

def lazy_parse(self, blob : Blob) -> Iterator[Document]:

"""Blob을 한 줄씩 문서로 구문 분석한다."""

lineNumber = 0

with blob.as_bytes_io() as bufferedReader:

for line in bufferedReader:

lineNumber += 1

yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

fileSystemBlobLoader = FileSystemBlobLoader(path = ".", glob = "*.md")

customBlobParser = CustomBlobParser()

for blob in fileSystemBlobLoader.yield_blobs():

for document in customBlobParser.lazy_parse(blob):

print(document.page_content)

"""

# 제목 1단계

## 제목 2단계

### 제목 3단계

#### 제목 4단계

##### 제목 5단계

###### 제목 6단계

1. 첫번째

1. 두번째

1. 세번째

+ 항목1

- 항목 2

* 항목 3

+ 항목 4

"""

▶ requirements.txt


aiohttp==3.9.5
aiosignal==1.3.1
annotated-types==0.7.0
async-timeout==4.0.3
attrs==23.2.0
certifi==2024.6.2
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.0.3
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.2.6
langchain-community==0.2.6
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
marshmallow==3.21.3
multidict==6.0.5
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
SQLAlchemy==2.0.31
tenacity==8.4.2
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.2
yarl==1.9.4

aiohttp==3.9.5

aiosignal==1.3.1

annotated-types==0.7.0

async-timeout==4.0.3

attrs==23.2.0

certifi==2024.6.2

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.0.3

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.2.6

langchain-community==0.2.6

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

marshmallow==3.21.3

multidict==6.0.5

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

SQLAlchemy==2.0.31

tenacity==8.4.2

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.2

yarl==1.9.4

※ pip install langchain-community 명령을 실행했다.

[PYTHON/LANGCHAIN] Blob 클래스 : from_path 정적 메소드를 사용해 파일 읽기

■ Blob 클래스의 from_path 정적 메소드를 사용해 파일을 읽는 방법을 보여준다. ▶ main.py


from langchain_core.document_loaders import Blob

with open("./meow.txt", "w", encoding="utf-8") as textIOWrapper:
    fileContent = "meow meow\nmeow meow\nmeow"
    textIOWrapper.write(fileContent)

blob = Blob.from_path("./meow.txt", metadata = {"foo" : "bar"})

print("소스        :", blob.source     )
print("인코딩      :", blob.encoding   )
print("메타 데이터 :", blob.metadata   )
print("바이트 배열 :", blob.as_bytes() )
print("문자열      :")
print("==============================")
print(blob.as_string())
print("==============================")

"""
소스        : ./meow.txt
인코딩      : utf-8
메타 데이터 : {'foo': 'bar'}
바이트 배열 : b'meow meow\nmeow meow\nmeow'
문자열      :
==============================
meow meow
meow meow
meow
==============================
"""

from langchain_core.document_loaders import Blob

with open("./meow.txt", "w", encoding="utf-8") as textIOWrapper:

fileContent = "meow meow\nmeow meow\nmeow"

textIOWrapper.write(fileContent)

blob = Blob.from_path("./meow.txt", metadata = {"foo" : "bar"})

print("소스 :", blob.source )

print("인코딩 :", blob.encoding )

print("메타 데이터 :", blob.metadata )

print("바이트 배열 :", blob.as_bytes() )

print("문자열 :")

print("==============================")

print(blob.as_string())

print("==============================")

"""

소스 : ./meow.txt

인코딩 : utf-8

메타 데이터 : {'foo': 'bar'}

바이트 배열 : b'meow meow\nmeow meow\nmeow'

문자열 :

==============================

meow meow

meow

==============================

"""

▶ requirements.txt


aiohttp==3.9.5
aiosignal==1.3.1
annotated-types==0.7.0
async-timeout==4.0.3
attrs==23.2.0
certifi==2024.6.2
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.0.3
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.2.6
langchain-community==0.2.6
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
marshmallow==3.21.3
multidict==6.0.5
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
SQLAlchemy==2.0.31
tenacity==8.4.2
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.2
yarl==1.9.4

aiohttp==3.9.5

aiosignal==1.3.1

annotated-types==0.7.0

async-timeout==4.0.3

attrs==23.2.0

certifi==2024.6.2

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.0.3

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.2.6

langchain-community==0.2.6

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

marshmallow==3.21.3

multidict==6.0.5

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

SQLAlchemy==2.0.31

tenacity==8.4.2

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.2

yarl==1.9.4

※ pip install langchain-community 명령을

[PYTHON/LANGCHAIN] BaseBlobParser 클래스 : 커스텀 BLOB 파서 만들기

■ BaseBlobParser 클래스를 사용해 커스텀 BLOB 파서를 만드는 방법을 보여준다. ▶ main.py


from typing import Iterator

from langchain_core.document_loaders import BaseBlobParser
from langchain_core.documents        import Document
from langchain_core.document_loaders import Blob

class CustomBlobParser(BaseBlobParser):
    """각 라인에서 문서를 생성하는 간단한 파서이다."""

    def lazy_parse(self, blob : Blob) -> Iterator[Document]:
        """Blob을 한 줄씩 문서로 구문 분석한다."""

        lineNumber = 0

        with blob.as_bytes_io() as bufferedReader:
            for line in bufferedReader:
                lineNumber += 1
                yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

with open("./meow.txt", "w", encoding="utf-8") as textIOWrapper:
    fileContent = "meow meow\nmeow meow\nmeow"
    textIOWrapper.write(fileContent)

customBlobParser = CustomBlobParser()

blob = Blob.from_path("./meow.txt")

geneator = customBlobParser.lazy_parse(blob)

documentList = list(geneator)

for document in documentList:
    print(document.page_content)

from typing import Iterator

from langchain_core.document_loaders import BaseBlobParser

from langchain_core.documents import Document

from langchain_core.document_loaders import Blob

class CustomBlobParser(BaseBlobParser):

"""각 라인에서 문서를 생성하는 간단한 파서이다."""

def lazy_parse(self, blob : Blob) -> Iterator[Document]:

"""Blob을 한 줄씩 문서로 구문 분석한다."""

lineNumber = 0

with blob.as_bytes_io() as bufferedReader:

for line in bufferedReader:

lineNumber += 1

yield Document(page_content = line, metadata = {"line_number" : lineNumber, "source" : blob.source})

with open("./meow.txt", "w", encoding="utf-8") as textIOWrapper:

fileContent = "meow meow\nmeow meow\nmeow"

textIOWrapper.write(fileContent)

customBlobParser = CustomBlobParser()

blob = Blob.from_path("./meow.txt")

geneator = customBlobParser.lazy_parse(blob)

documentList = list(geneator)

for document in documentList:

print(document.page_content)

▶ requirements.txt


aiohttp==3.9.5
aiosignal==1.3.1
annotated-types==0.7.0
async-timeout==4.0.3
attrs==23.2.0
certifi==2024.6.2
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.0.3
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.2.6
langchain-community==0.2.6
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
marshmallow==3.21.3
multidict==6.0.5
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
requests==2.32.3
SQLAlchemy==2.0.31
tenacity==8.4.2
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.2
yarl==1.9.4

aiohttp==3.9.5

aiosignal==1.3.1

annotated-types==0.7.0

async-timeout==4.0.3

attrs==23.2.0

certifi==2024.6.2

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.0.3

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.2.6

langchain-community==0.2.6

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

marshmallow==3.21.3

multidict==6.0.5

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

requests==2.32.3

SQLAlchemy==2.0.31

tenacity==8.4.2

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.2

yarl==1.9.4

※ pip install langchain-community 명령을 실행했다.

[PYTHON/COMMON] aiofiles 패키지 설치하기

■ aiofiles 패키지를 설치하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 명령 프롬프트에서 아래 명령을 실행한다. ▶ 실행 명령


pip install aiofiles

pip install aiofiles