[PYTHON/LANGCHAIN] WebBaseLoader 클래스 : 생성자에서 web_paths/bs_kwargs 인자를 사용해 웹 문서 로더 만들기

■ WebBaseLoader 클래스의 생성자에서 web_paths/bs_kwargs 인자를 사용해 웹 문서 로더를 만드는 방법을 보여준다.

▶ main.py


import bs4

from langchain_community.document_loaders import WebBaseLoader

webBaseLoader = WebBaseLoader(
    web_paths = ("https://lilianweng.github.io/posts/2023-06-23-agent/",),
    bs_kwargs = dict(parse_only = bs4.SoupStrainer(class_ = ("post-content", "post-title", "post-header")))
)

import bs4

from langchain_community.document_loaders import WebBaseLoader

webBaseLoader = WebBaseLoader(

web_paths = ("https://lilianweng.github.io/posts/2023-06-23-agent/",),

bs_kwargs = dict(parse_only = bs4.SoupStrainer(class_ = ("post-content", "post-title", "post-header")))

)