TRANSFORMERS Archives

[PYTHON/TRANSFORMERS] TextGenerationPipeline 클래스 : Llama 3.1 모델을 사용해 대화하기

■ TextGenerationPipeline 클래스에서 Llama 3.1 모델을 사용해 대화하는 방법을 보여준다. ▶ main.py


import transformers
import torch

textGenerationPipeline = transformers.pipeline(
    "text-generation",
    model        = "meta-llama/Meta-Llama-3.1-8B-Instruct",
    model_kwargs = {"torch_dtype" : torch.bfloat16},
    device_map   = "auto",
)

messageList = [
    {"role" : "system", "content" : "You are a pirate chatbot who always responds in pirate speak!"},
    {"role" : "user"  , "content" : "Who are you?"                                                 }
]

resultList = textGenerationPipeline(
    messageList,
    max_new_tokens = 256,
)

print(resultList[0]["generated_text"][-1])

"""
{'role': 'assistant', 'content': "Arrrr, me hearty! I be Captain Chat, a swashbucklin' pirate chatbot, here to serve ye with me treasure trove o' knowledge! Me and me trusty keyboard be ready to set sail fer a sea o' conversation, answerin' yer questions and tellin' tales o' adventure on the seven seas! So hoist the sails and let's set course fer a fun-filled journey, matey!"}
"""

import transformers

import torch

textGenerationPipeline = transformers.pipeline(

"text-generation",

model = "meta-llama/Meta-Llama-3.1-8B-Instruct",

model_kwargs = {"torch_dtype" : torch.bfloat16},

device_map = "auto",

)

messageList = [

{"role" : "system", "content" : "You are a pirate chatbot who always responds in pirate speak!"},

{"role" : "user" , "content" : "Who are you?" }

]

resultList = textGenerationPipeline(

messageList,

max_new_tokens = 256,

)

print(resultList[0]["generated_text"][-1])

"""

{'role': 'assistant', 'content': "Arrrr, me hearty! I be Captain Chat, a swashbucklin' pirate chatbot, here to serve ye with me treasure trove o' knowledge! Me and me trusty keyboard be ready to set sail fer a sea o' conversation, answerin' yer questions and tellin' tales o' adventure on the seven seas! So hoist the sails and let's set course fer a fun-filled journey, matey!"}

"""

▶ requirements.txt


accelerate==0.33.0
certifi==2024.7.4
charset-normalizer==3.3.2
filelock==3.15.4
fsspec==2024.6.1
huggingface-hub==0.24.5
idna==3.7
Jinja2==3.1.4
MarkupSafe==2.1.5
mpmath==1.3.0
networkx==3.3
numpy==1.26.4
nvidia-cublas-cu12==12.1.3.1
nvidia-cuda-cupti-cu12==12.1.105
nvidia-cuda-nvrtc-cu12==12.1.105
nvidia-cuda-runtime-cu12==12.1.105
nvidia-cudnn-cu12==9.1.0.70
nvidia-cufft-cu12==11.0.2.54
nvidia-curand-cu12==10.3.2.106
nvidia-cusolver-cu12==11.4.5.107
nvidia-cusparse-cu12==12.1.0.106
nvidia-nccl-cu12==2.20.5
nvidia-nvjitlink-cu12==12.6.20
nvidia-nvtx-cu12==12.1.105
packaging==24.1
psutil==6.0.0
PyYAML==6.0.2
regex==2024.7.24
requests==2.32.3
safetensors==0.4.4
sympy==1.13.2
tokenizers==0.19.1
torch==2.4.0
tqdm==4.66.5
transformers==4.44.0
triton==3.0.0
typing_extensions==4.12.2
urllib3==2.2.2

accelerate==0.33.0

certifi==2024.7.4

charset-normalizer==3.3.2

filelock==3.15.4

fsspec==2024.6.1

huggingface-hub==0.24.5

idna==3.7

Jinja2==3.1.4

MarkupSafe==2.1.5

mpmath==1.3.0

networkx==3.3

numpy==1.26.4

nvidia-cublas-cu12==12.1.3.1

nvidia-cuda-cupti-cu12==12.1.105

nvidia-cuda-nvrtc-cu12==12.1.105

nvidia-cuda-runtime-cu12==12.1.105

nvidia-cudnn-cu12==9.1.0.70

nvidia-cufft-cu12==11.0.2.54

nvidia-curand-cu12==10.3.2.106

nvidia-cusolver-cu12==11.4.5.107

nvidia-cusparse-cu12==12.1.0.106

nvidia-nccl-cu12==2.20.5

nvidia-nvjitlink-cu12==12.6.20

nvidia-nvtx-cu12==12.1.105

packaging==24.1

psutil==6.0.0

PyYAML==6.0.2

regex==2024.7.24

requests==2.32.3

safetensors==0.4.4

sympy==1.13.2

tokenizers==0.19.1

torch==2.4.0

tqdm==4.66.5

transformers==4.44.0

triton==3.0.0

typing_extensions==4.12.2

urllib3==2.2.2

※ pip install transformers torch accelerate

[PYTHON/TRANSFORMERS] pipeline 함수 : Llama 3.1 모델을 설정한 TextGenerationPipeline 객체 만들기

■ pipeline 함수를 사용해 Llama 3.1 모델을 설정한 TextGenerationPipeline 객체를 만드는 방법을 보여준다. ▶ 예제 코드 (PY)


import transformers
import torch

textGenerationPipeline = transformers.pipeline(
    "text-generation",
    model        = "meta-llama/Meta-Llama-3.1-8B-Instruct",
    model_kwargs = {"torch_dtype" : torch.bfloat16},
    device_map   = "auto",
)

import transformers

import torch

textGenerationPipeline = transformers.pipeline(

"text-generation",

model = "meta-llama/Meta-Llama-3.1-8B-Instruct",

model_kwargs = {"torch_dtype" : torch.bfloat16},

device_map = "auto",

)

▶ requirements.txt


accelerate==0.33.0
certifi==2024.7.4
charset-normalizer==3.3.2
filelock==3.15.4
fsspec==2024.6.1
huggingface-hub==0.24.5
idna==3.7
Jinja2==3.1.4
MarkupSafe==2.1.5
mpmath==1.3.0
networkx==3.3
numpy==1.26.4
nvidia-cublas-cu12==12.1.3.1
nvidia-cuda-cupti-cu12==12.1.105
nvidia-cuda-nvrtc-cu12==12.1.105
nvidia-cuda-runtime-cu12==12.1.105
nvidia-cudnn-cu12==9.1.0.70
nvidia-cufft-cu12==11.0.2.54
nvidia-curand-cu12==10.3.2.106
nvidia-cusolver-cu12==11.4.5.107
nvidia-cusparse-cu12==12.1.0.106
nvidia-nccl-cu12==2.20.5
nvidia-nvjitlink-cu12==12.6.20
nvidia-nvtx-cu12==12.1.105
packaging==24.1
psutil==6.0.0
PyYAML==6.0.2
regex==2024.7.24
requests==2.32.3
safetensors==0.4.4
sympy==1.13.2
tokenizers==0.19.1
torch==2.4.0
tqdm==4.66.5
transformers==4.44.0
triton==3.0.0
typing_extensions==4.12.2
urllib3==2.2.2

accelerate==0.33.0

certifi==2024.7.4

charset-normalizer==3.3.2

filelock==3.15.4

fsspec==2024.6.1

huggingface-hub==0.24.5

idna==3.7

Jinja2==3.1.4

MarkupSafe==2.1.5

mpmath==1.3.0

networkx==3.3

numpy==1.26.4

nvidia-cublas-cu12==12.1.3.1

nvidia-cuda-cupti-cu12==12.1.105

nvidia-cuda-nvrtc-cu12==12.1.105

nvidia-cuda-runtime-cu12==12.1.105

nvidia-cudnn-cu12==9.1.0.70

nvidia-cufft-cu12==11.0.2.54

nvidia-curand-cu12==10.3.2.106

nvidia-cusolver-cu12==11.4.5.107

nvidia-cusparse-cu12==12.1.0.106

nvidia-nccl-cu12==2.20.5

nvidia-nvjitlink-cu12==12.6.20

nvidia-nvtx-cu12==12.1.105

packaging==24.1

psutil==6.0.0

PyYAML==6.0.2

regex==2024.7.24

requests==2.32.3

safetensors==0.4.4

sympy==1.13.2

tokenizers==0.19.1

torch==2.4.0

tqdm==4.66.5

transformers==4.44.0

triton==3.0.0

typing_extensions==4.12.2

urllib3==2.2.2

※

[PYTHON/TRANSFORMERS] transformers 패키지 설치하기

■ transformers 패키지를 설치하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 명령 프롬프트에서 아래 명령을 실행한다. ▶ 실행 명령


pip install transformers

pip install transformers

[PYTHON/LANGCHAIN] CharacterTextSplitter 클래스 : split_text 메소드를 사용해 문자열에서 문자열 리스트 구하기

■ CharacterTextSplitter 클래스의 split_text 메소드를 사용해 문자열에서 문자열 리스트를 구하는 방법을 보여준다. ▶ main.py


from transformers             import GPT2TokenizerFast
from langchain_text_splitters import CharacterTextSplitter

with open("sample.txt") as textIOWrapper:
     fileContent = textIOWrapper.read()

gpt2TokenizerFast = GPT2TokenizerFast.from_pretrained("gpt2")

characterTextSplitter = CharacterTextSplitter.from_huggingface_tokenizer(gpt2TokenizerFast, chunk_size = 100, chunk_overlap = 0)

stringList = characterTextSplitter.split_text(fileContent)

for string in stringList:
     print(string)
     print()

"""
'잔느'는 귀족의 딸로 부모의 사랑을 받으며 어려움 없이 자란 소녀였다.
열일곱 살인 그녀는, 수녀원 부속 여학교를 졸업하고 행복에 대한 기대로 가득 차 있었다.
아버지인 '시몽 자크 르 페르튀 데 보' 남작은 선량하고 다정했고, 어머니는 따뜻했다.
다만 어머니는 심장비대증으로 고생 중이었는데, 로잘리가 잘 부축했다.
따뜻한 집안 분위기로 인해, 하녀인 '로잘리'는 둘째 딸 같은 대접을 받았다.

마을의 피코 신부는 이제 막 수녀원을 졸업한 잔느에게 한 청년을 소개해 주었다.
그는 '줄리앙 장 드 라마르' 자작으로, 검소하고 외모가 출중한 청년이었다.
줄리앙과 함께 소풍을 다녀온 잔느는 줄리앙을 사랑하게 되고, 결국 둘은 결혼을 한다.
그러나 결혼식 후, 그들의 첫날밤은 달콤하지 않았다.
잔느는 난폭하게 자신의 욕구만 채우고 잠든 줄리앙에게 심한 모욕감을 느낀다.
심지어 신혼여행 중 줄리앙은 잔느의 용돈 2천 프랑을 맡아준다며 가져가지만, 잔느가 쇼핑을 할 때마다 심한 눈치를 주었다.
결국 잔느는 쇼핑도 제대로 못하고, 줄리앙에게 자신의 용돈을 고스란히 빼앗기고 만다.
"""

from transformers import GPT2TokenizerFast

from langchain_text_splitters import CharacterTextSplitter

with open("sample.txt") as textIOWrapper:

fileContent = textIOWrapper.read()

gpt2TokenizerFast = GPT2TokenizerFast.from_pretrained("gpt2")

characterTextSplitter = CharacterTextSplitter.from_huggingface_tokenizer(gpt2TokenizerFast, chunk_size = 100, chunk_overlap = 0)

stringList = characterTextSplitter.split_text(fileContent)

for string in stringList:

print(string)

print()

"""

'잔느'는 귀족의 딸로 부모의 사랑을 받으며 어려움 없이 자란 소녀였다.

열일곱 살인 그녀는, 수녀원 부속 여학교를 졸업하고 행복에 대한 기대로 가득 차 있었다.

아버지인 '시몽 자크 르 페르튀 데 보' 남작은 선량하고 다정했고, 어머니는 따뜻했다.

다만 어머니는 심장비대증으로 고생 중이었는데, 로잘리가 잘 부축했다.

따뜻한 집안 분위기로 인해, 하녀인 '로잘리'는 둘째 딸 같은 대접을 받았다.

마을의 피코 신부는 이제 막 수녀원을 졸업한 잔느에게 한 청년을 소개해 주었다.

그는 '줄리앙 장 드 라마르' 자작으로, 검소하고 외모가 출중한 청년이었다.

줄리앙과 함께 소풍을 다녀온 잔느는 줄리앙을 사랑하게 되고, 결국 둘은 결혼을 한다.

그러나 결혼식 후, 그들의 첫날밤은 달콤하지 않았다.

잔느는 난폭하게 자신의 욕구만 채우고 잠든 줄리앙에게 심한 모욕감을 느낀다.

심지어 신혼여행 중 줄리앙은 잔느의 용돈 2천 프랑을 맡아준다며 가져가지만, 잔느가 쇼핑을 할 때마다 심한 눈치를 주었다.

결국 잔느는 쇼핑도 제대로 못하고, 줄리앙에게 자신의 용돈을 고스란히 빼앗기고 만다.

"""

▶ requirements.txt


annotated-types==0.7.0
certifi==2024.6.2
charset-normalizer==3.3.2
filelock==3.15.4
fsspec==2024.6.1
huggingface-hub==0.23.4
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
numpy==1.26.4
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
regex==2024.5.15
requests==2.32.3
safetensors==0.4.3
tenacity==8.4.2
tokenizers==0.19.1
tqdm==4.66.4
transformers==4.42.3
typing_extensions==4.12.2
urllib3==2.2.2

annotated-types==0.7.0

certifi==2024.6.2

charset-normalizer==3.3.2

filelock==3.15.4

fsspec==2024.6.1

huggingface-hub==0.23.4

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

numpy==1.26.4

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

regex==2024.5.15

requests==2.32.3

safetensors==0.4.3

tenacity==8.4.2

tokenizers==0.19.1

tqdm==4.66.4

transformers==4.42.3

typing_extensions==4.12.2

urllib3==2.2.2

※ pip install langchain-text-splitters

[PYTHON/LANGCHAIN] CharacterTextSplitter 클래스 : from_huggingface_tokenizer 메소드를 사용해 CharacterTextSplitter 객체 만들기

■ CharacterTextSplitter 클래스의 from_huggingface_tokenizer 메소드를 사용해 CharacterTextSplitter 객체를 만드는 방법을 보여준다. ▶ main.py


from transformers             import GPT2TokenizerFast
from langchain_text_splitters import CharacterTextSplitter

gpt2TokenizerFast = GPT2TokenizerFast.from_pretrained("gpt2")

characterTextSplitter = CharacterTextSplitter.from_huggingface_tokenizer(gpt2TokenizerFast, chunk_size = 100, chunk_overlap = 0)

from transformers import GPT2TokenizerFast

from langchain_text_splitters import CharacterTextSplitter

gpt2TokenizerFast = GPT2TokenizerFast.from_pretrained("gpt2")

characterTextSplitter = CharacterTextSplitter.from_huggingface_tokenizer(gpt2TokenizerFast, chunk_size = 100, chunk_overlap = 0)

▶ requirements.txt


annotated-types==0.7.0
certifi==2024.6.2
charset-normalizer==3.3.2
filelock==3.15.4
fsspec==2024.6.1
huggingface-hub==0.23.4
idna==3.7
jsonpatch==1.33
jsonpointer==3.0.0
langchain-core==0.2.10
langchain-text-splitters==0.2.2
langsmith==0.1.82
numpy==1.26.4
orjson==3.10.5
packaging==24.1
pydantic==2.7.4
pydantic_core==2.18.4
PyYAML==6.0.1
regex==2024.5.15
requests==2.32.3
safetensors==0.4.3
tenacity==8.4.2
tokenizers==0.19.1
tqdm==4.66.4
transformers==4.42.3
typing_extensions==4.12.2
urllib3==2.2.2

annotated-types==0.7.0

certifi==2024.6.2

charset-normalizer==3.3.2

filelock==3.15.4

fsspec==2024.6.1

huggingface-hub==0.23.4

idna==3.7

jsonpatch==1.33

jsonpointer==3.0.0

langchain-core==0.2.10

langchain-text-splitters==0.2.2

langsmith==0.1.82

numpy==1.26.4

orjson==3.10.5

packaging==24.1

pydantic==2.7.4

pydantic_core==2.18.4

PyYAML==6.0.1

regex==2024.5.15

requests==2.32.3

safetensors==0.4.3

tenacity==8.4.2

tokenizers==0.19.1

tqdm==4.66.4

transformers==4.42.3

typing_extensions==4.12.2

urllib3==2.2.2

※ pip install langchain-text-splitters transformers