[PYTHON/LANGCHAIN] PyPDFLoader 클래스 : lazy_load 메소드를 사용해 문서 로드하기

icodebroker LANGCHAIN 2025-01-13

■ PyPDFLoader 클래스의 lazy_load 메소드를 사용해 문서를 로드하는 방법을 보여준다.

▶ main.py


from langchain_community.document_loaders import PyPDFLoader

pyPDFLoader = PyPDFLoader("SPRI_AI_Brief_2023년12월호_F.pdf")

generator = pyPDFLoader.lazy_load()

for document in generator:
    print(document.metadata)

"""
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 0}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 1}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 2}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 3}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 4}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 5}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 6}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 7}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 8}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 9}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 10}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 11}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 12}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 13}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 14}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 15}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 16}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 17}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 18}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 19}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 20}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 21}
{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 22}
"""

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

from langchain_community.document_loaders import PyPDFLoader

pyPDFLoader = PyPDFLoader("SPRI_AI_Brief_2023년12월호_F.pdf")

generator = pyPDFLoader.lazy_load()

for document in generator:

print(document.metadata)

"""

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 0}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 1}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 2}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 3}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 4}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 5}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 6}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 7}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 8}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 9}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 10}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 11}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 12}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 13}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 14}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 15}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 16}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 17}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 18}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 19}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 20}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 21}

{'source': 'SPRI_AI_Brief_2023년12월호_F.pdf', 'page': 22}

"""

▶ requirements.txt


aiohappyeyeballs==2.4.4
aiohttp==3.11.11
aiosignal==1.3.2
annotated-types==0.7.0
anyio==4.8.0
async-timeout==4.0.3
attrs==24.3.0
certifi==2024.12.14
charset-normalizer==3.4.1
dataclasses-json==0.6.7
exceptiongroup==1.2.2
frozenlist==1.5.0
greenlet==3.1.1
h11==0.14.0
httpcore==1.0.7
httpx==0.28.1
httpx-sse==0.4.0
idna==3.10
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.3.14
langchain-community==0.3.14
langchain-core==0.3.29
langchain-text-splitters==0.3.5
langsmith==0.2.10
marshmallow==3.25.1
multidict==6.1.0
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.14
packaging==24.2
propcache==0.2.1
pydantic==2.10.5
pydantic-settings==2.7.1
pydantic_core==2.27.2
pypdf==5.1.0
python-dotenv==1.0.1
PyYAML==6.0.2
requests==2.32.3
requests-toolbelt==1.0.0
sniffio==1.3.1
SQLAlchemy==2.0.37
tenacity==9.0.0
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.3.0
yarl==1.18.3

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

aiohappyeyeballs==2.4.4

aiohttp==3.11.11

aiosignal==1.3.2

annotated-types==0.7.0

anyio==4.8.0

async-timeout==4.0.3

attrs==24.3.0

certifi==2024.12.14

charset-normalizer==3.4.1

dataclasses-json==0.6.7

exceptiongroup==1.2.2

frozenlist==1.5.0

greenlet==3.1.1

h11==0.14.0

httpcore==1.0.7

httpx==0.28.1

httpx-sse==0.4.0

idna==3.10

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.3.14

langchain-community==0.3.14

langchain-core==0.3.29

langchain-text-splitters==0.3.5

langsmith==0.2.10

marshmallow==3.25.1

multidict==6.1.0

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.14

packaging==24.2

propcache==0.2.1

pydantic==2.10.5

pydantic-settings==2.7.1

pydantic_core==2.27.2

pypdf==5.1.0

python-dotenv==1.0.1

PyYAML==6.0.2

requests==2.32.3

requests-toolbelt==1.0.0

sniffio==1.3.1

SQLAlchemy==2.0.37

tenacity==9.0.0

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.3.0

yarl==1.18.3

※ pip install langchain-community pypdf 명령을 실행했다.

Post Views: 2

AI DOCUMENT DOCUMENT LOADER FILE LANGCHAIN LLM PDF PYTHON

icodebroker

[PYTHON/LANGCHAIN] PyPDFLoader 클래스 : lazy_load 메소드를 사용해 문서 로드하기

분류

보관함