MULTIMODAL Archives - icodebroker

[PYTHON/LANGCHAIN] ChatPromptTemplate 클래스 : from_messages 정적 메소드를 사용해 멀티모달 프롬프트 만들기 2

■ ChatPromptTemplate 클래스의 from_messages 정적 메소드를 사용해 멀티모달 프롬프트를 만드는 방법을 보여준다. ※ OPENAI_API_KEY 환경 변수 값은 .env 파일에 정의한다. ▶ main.py

[PYTHON/LANGCHAIN] ChatPromptTemplate 클래스 : from_messages 정적 메소드를 사용해 멀티모달 프롬프트 만들기

[PYTHON/LANGCHAIN] @tool 데코레이터 : 도구를 사용해 멀티모달 데이터 처리하기

■ @tool 데코레이터에서 도구를 사용해 멀티모달 데이터를 처리하는 방법을 보여준다. ※ 실제 실행시 본인 PC에서는 도구가 호출되지 않았다. ※ OPENAI_API_KEY 환경 변수

[PYTHON/LANGCHAIN] HumanMessage 클래스 : 모델에 멀티모달 데이터 전달하기 3

■ HumanMessage 클래스를 사용해 모델에 멀티모달 데이터를 전달하는 방법을 보여준다. ※ "image_url" 유형의 콘텐츠 블럭에 이미지 URL을 직접 입력할 수 있다. ※

[PYTHON/LANGCHAIN] HumanMessage 클래스 : 모델에 멀티모달 데이터 전달하기 2

[PYTHON/LANGCHAIN] HumanMessage 클래스 : 모델에 멀티모달 데이터 전달하기 1

■ HumanMessage 클래스를 사용해 모델에 멀티모달 데이터를 전달하는 방법을 보여준다. ※ OPENAI_API_KEY 환경 변수 값은 .env 파일에 정의한다. ▶ main.py


import httpx
import base64

from dotenv                  import load_dotenv
from langchain_core.messages import HumanMessage
from langchain_openai        import ChatOpenAI

load_dotenv()

imageURL = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"

responseAIMessage = httpx.get(imageURL)

contentBytes = responseAIMessage.content

base64Bytes = base64.b64encode(contentBytes)

imageDataString = base64Bytes.decode("utf-8")

hummanMessage = HumanMessage(
    content = [
        {
            "type" : "text",
            "text" : "describe the weather in this image"
        },
        {
            "type"      : "image_url",
            "image_url" : {"url" : f"data:image/jpeg;base64,{imageDataString}" }
        }
    ]
)

chatOpenAI = ChatOpenAI(model = "gpt-4o")

responseAIMessage = chatOpenAI.invoke([hummanMessage])

print(responseAIMessage.content)

"""
The weather in the image appears to be clear and sunny. The sky is mostly blue with scattered clouds, suggesting a pleasant day. The bright sunlight is casting clear shadows, indicating good visibility and a likely warm temperature. The overall scene conveys a calm and serene atmosphere.
"""

import httpx

import base64

from dotenv import load_dotenv

from langchain_core.messages import HumanMessage

from langchain_openai import ChatOpenAI

load_dotenv()

imageURL = "https://upload.wikimedia.org/wikipedia/commons/thumb/d/dd/Gfp-wisconsin-madison-the-nature-boardwalk.jpg/2560px-Gfp-wisconsin-madison-the-nature-boardwalk.jpg"

responseAIMessage = httpx.get(imageURL)

contentBytes = responseAIMessage.content

base64Bytes = base64.b64encode(contentBytes)

imageDataString = base64Bytes.decode("utf-8")

hummanMessage = HumanMessage(

content = [

{

"type" : "text",

"text" : "describe the weather in this image"

{

"type" : "image_url",

"image_url" : {"url" : f"data:image/jpeg;base64,{imageDataString}" }

}

]

)

chatOpenAI = ChatOpenAI(model = "gpt-4o")

responseAIMessage = chatOpenAI.invoke([hummanMessage])

print(responseAIMessage.content)

"""

The weather in the image appears to be clear and sunny. The sky is mostly blue with scattered clouds, suggesting a pleasant day. The bright sunlight is casting clear shadows, indicating good visibility and a likely warm temperature. The overall scene conveys a calm and serene atmosphere.

"""

▶