OLLAMA Archives - icodebroker

[C#/COMMON/.NET6] 엑셀에서 OLLAMA 질문 사용자 함수 추가하기

■ 엑셀에서 OLLAMA에게 질문을 하는 사용자 함수를 추가하는 방법을 보여준다. ▶ TestLibrary.csproj


<Project Sdk="Microsoft.NET.Sdk">
    <PropertyGroup>
        <TargetFramework>net6.0-windows</TargetFramework>
        <ImplicitUsings>disable</ImplicitUsings>
        <Nullable>disable</Nullable>
    </PropertyGroup>
    <ItemGroup>
        <PackageReference Include="ExcelDna.AddIn" Version="1.8.0" />
    </ItemGroup>
</Project>

<TargetFramework>net6.0-windows</TargetFramework>

<ImplicitUsings>disable</ImplicitUsings>

<Nullable>disable</Nullable>

</PropertyGroup>

</ItemGroup>

</Project>

▶ launchSettings.json


{
  "profiles": {
    "Excel": {
      "commandName": "Executable",
      "executablePath": "C:\\Program Files\\Microsoft Office\\root\\Office16\\EXCEL.EXE",
      "commandLineArgs": "/x \"TestLibrary-AddIn64.xll\""
    }
  }
}

{

"profiles": {

"Excel": {

"commandName": "Executable",

"executablePath": "C:\\Program Files\\Microsoft Office\\root\\Office16\\EXCEL.EXE",

"commandLineArgs": "/x \"TestLibrary-AddIn64.xll\""

}

▶ OllamaClient.cs


using System.Net.Http;
using System.Text;
using System.Text.Json;

namespace TestLibrary;

/// <summary>
/// OLLAMA 클라이언트
/// </summary>
public class OllamaClient
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Field
    ////////////////////////////////////////////////////////////////////////////////////////// Private

    #region Field

    /// <summary>
    /// 기본 URL
    /// </summary>
    private readonly string baseURL;

    /// <summary>
    /// 모델명
    /// </summary>
    private readonly string modelName;

    /// <summary>
    /// HTTP 클라이언트
    /// </summary>
    private readonly HttpClient client;

    #endregion

    //////////////////////////////////////////////////////////////////////////////////////////////////// Constructor
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region 생성자 - OllamaClient(baseURL, modelName)

    /// <summary>
    /// 생성자
    /// </summary>
    /// <param name="baseURL">기본 URL</param>
    /// <param name="modelName">모델명</param>
    public OllamaClient(string baseURL = "http://localhost:11434", string modelName = "bnksys/eeve-yanolja-v1:latest")
    {
        this.baseURL = baseURL;
        this.modelName = modelName;

        this.client = new HttpClient();
    }

    #endregion

    //////////////////////////////////////////////////////////////////////////////////////////////////// Method
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region 질문하기 - Ask(question)

    /// <summary>
    /// 질문하기
    /// </summary>
    /// <param name="question">질문</param>
    /// <returns>답변</returns>
    public string Ask(string question)
    {
        var requestContent = new
        {
            model  = this.modelName,
            prompt = question,
            stream = false,
            raw    = false
        };

        string json = JsonSerializer.Serialize(requestContent);

        StringContent stringContent = new StringContent(json, Encoding.UTF8, "application/json");

        using(HttpResponseMessage httpResponseMessage = client.PostAsync($"{baseURL}/api/generate", stringContent).Result)
        {
            httpResponseMessage.EnsureSuccessStatusCode();

            string respnseJSON = httpResponseMessage.Content.ReadAsStringAsync().Result;

            using(JsonDocument jsonElement = JsonDocument.Parse(respnseJSON))
            {
                JsonElement rootJSONElement = jsonElement.RootElement;

                if(rootJSONElement.TryGetProperty("response", out JsonElement responseElement))
                {
                    return responseElement.GetString() ?? string.Empty;
                }

                return string.Empty;
            }
        }
    }

    #endregion
}

100

101

using System.Net.Http;

using System.Text;

using System.Text.Json;

namespace TestLibrary;

/// <summary>

/// OLLAMA 클라이언트

/// </summary>

public class OllamaClient

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Field

////////////////////////////////////////////////////////////////////////////////////////// Private

#region Field

/// <summary>

/// 기본 URL

/// </summary>

private readonly string baseURL;

/// <summary>

/// 모델명

/// </summary>

private readonly string modelName;

/// <summary>

/// HTTP 클라이언트

/// </summary>

private readonly HttpClient client;

#endregion

//////////////////////////////////////////////////////////////////////////////////////////////////// Constructor

////////////////////////////////////////////////////////////////////////////////////////// Public

#region 생성자 - OllamaClient(baseURL, modelName)

/// <summary>

/// 생성자

/// </summary>

/// <param name="baseURL">기본 URL</param>

/// <param name="modelName">모델명</param>

public OllamaClient(string baseURL = "http://localhost:11434", string modelName = "bnksys/eeve-yanolja-v1:latest")

{

this.baseURL = baseURL;

this.modelName = modelName;

this.client = new HttpClient();

}

#endregion

//////////////////////////////////////////////////////////////////////////////////////////////////// Method

////////////////////////////////////////////////////////////////////////////////////////// Public

#region 질문하기 - Ask(question)

/// <summary>

/// 질문하기

/// </summary>

/// <param name="question">질문</param>

/// <returns>답변</returns>

public string Ask(string question)

{

var requestContent = new

{

model = this.modelName,

prompt = question,

stream = false,

raw = false

};

string json = JsonSerializer.Serialize(requestContent);

StringContent stringContent = new StringContent(json, Encoding.UTF8, "application/json");

using(HttpResponseMessage httpResponseMessage = client.PostAsync($"{baseURL}/api/generate", stringContent).Result)

{

httpResponseMessage.EnsureSuccessStatusCode();

string respnseJSON = httpResponseMessage.Content.ReadAsStringAsync().Result;

using(JsonDocument jsonElement = JsonDocument.Parse(respnseJSON))

{

JsonElement rootJSONElement = jsonElement.RootElement;

if(rootJSONElement.TryGetProperty("response", out JsonElement responseElement))

{

return responseElement.GetString() ?? string.Empty;

}

return string.Empty;

}

#endregion

}

▶ CustomFunction.cs


using ExcelDna.Integration;

namespace TestLibrary;

/// <summary>
/// 커스텀 함수
/// </summary>
public static class CustomFunction
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Method
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region OLLAMA 질문하기 - AskOllama(question)

    /// <summary>
    /// OLLAMA 질문하기
    /// </summary>
    /// <param name="question">질문</param>
    /// <returns>답변</returns>
    [ExcelFunction(Description = "Ollama에게 질문을 합니다.")]
    public static string AskOllama(string question)
    {
        OllamaClient ollamaClient = new OllamaClient();

        string answer = ollamaClient.Ask(question);

        return answer;
    }

    #endregion
}

using ExcelDna.Integration;

namespace TestLibrary;

/// <summary>

/// 커스텀 함수

/// </summary>

public static class CustomFunction

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Method

////////////////////////////////////////////////////////////////////////////////////////// Public

#region OLLAMA 질문하기 - AskOllama(question)

/// <summary>

/// OLLAMA 질문하기

/// </summary>

/// <param name="question">질문</param>

/// <returns>답변</returns>

[ExcelFunction(Description = "Ollama에게 질문을 합니다.")]

public static string AskOllama(string question)

{

OllamaClient ollamaClient = new OllamaClient();

string answer = ollamaClient.Ask(question);

return answer;

}

#endregion

}

[PYTHON/REQUESTS] Session 클래스 : OLLAMA 서버 통신하기

■ Session 클래스를 사용해 OLLAMA 서버와 통신하는 방법을 보여준다. ▶ main.py


import json
import requests

from typing import Any

class OllamaClient:
    def __init__(self, baseURL : str = "http://localhost:11434"):
        self.baseURL = baseURL.rstrip('/')
        self.session = requests.Session()

    def generate(self, model : str, prompt : str,  stream : bool = False, **keywardArgumentDictionary) -> Any:
        url = f"{self.baseURL}/api/generate"

        data = {
            "model"  : model,
            "prompt" : prompt,
            "stream" : stream,
            **keywardArgumentDictionary
        }

        try:
            if stream:
                return self.session.post(url, json = data, stream = True)
            else:
                response = self.session.post(url, json=data)
                response.raise_for_status()
                return response.json()
        except requests.exceptions.RequestException as exception:
            print(f"API 요청 중 오류 발생 : {exception}")
            raise

def processStreamResponse(response):
    for line in response.iter_lines():
        if line:
            try:
                yield json.loads(line)
            except json.JSONDecodeError as exception:
                print(f"JSON 파싱 오류 : {exception}")
                continue

def main():
    ollamaClient = OllamaClient()

    model  = "bnksys/eeve-yanolja-v1:latest"
    prompt = "여기어때와 야놀자의 차이점을 알려주세요."

    try:
        print("=== 일반 응답 ===")
        response1 = ollamaClient.generate(model = model, prompt = prompt, stream = False)
        print(f"질문 : {prompt}")
        print(f"응답 : {response1['response']}\n")

        print("=== 스트리밍 응답 ===")
        print(f"질문 : {prompt}")
        print( "응답 :", end = " ", flush = True)

        response2 = ollamaClient.generate(model = model, prompt = prompt, stream = True)
        for chunkDictionary in processStreamResponse(response2):
            if chunkDictionary.get("response"):
                print(chunkDictionary["response"], end = "", flush = True)
        print()
    except Exception as exception:
        print(f"오류 발생 : {exception}")

if __name__ == "__main__":
    main()

import json

import requests

from typing import Any

class OllamaClient:

def __init__(self, baseURL : str = "http://localhost:11434"):

self.baseURL = baseURL.rstrip('/')

self.session = requests.Session()

def generate(self, model : str, prompt : str, stream : bool = False, **keywardArgumentDictionary) -> Any:

url = f"{self.baseURL}/api/generate"

data = {

"model" : model,

"prompt" : prompt,

"stream" : stream,

**keywardArgumentDictionary

}

try:

if stream:

return self.session.post(url, json = data, stream = True)

else:

response = self.session.post(url, json=data)

response.raise_for_status()

return response.json()

except requests.exceptions.RequestException as exception:

print(f"API 요청 중 오류 발생 : {exception}")

raise

def processStreamResponse(response):

for line in response.iter_lines():

if line:

try:

yield json.loads(line)

except json.JSONDecodeError as exception:

print(f"JSON 파싱 오류 : {exception}")

continue

def main():

ollamaClient = OllamaClient()

model = "bnksys/eeve-yanolja-v1:latest"

prompt = "여기어때와 야놀자의 차이점을 알려주세요."

try:

print("=== 일반 응답 ===")

response1 = ollamaClient.generate(model = model, prompt = prompt, stream = False)

print(f"질문 : {prompt}")

print(f"응답 : {response1['response']}\n")

print("=== 스트리밍 응답 ===")

print(f"질문 : {prompt}")

print( "응답 :", end = " ", flush = True)

response2 = ollamaClient.generate(model = model, prompt = prompt, stream = True)

for chunkDictionary in processStreamResponse(response2):

if chunkDictionary.get("response"):

print(chunkDictionary["response"], end = "", flush = True)

print()

except Exception as exception:

print(f"오류 발생 : {exception}")

if __name__ == "__main__":

main()

※ pip install requests 명령을 실행했다.

[C#/COMMON] HttpClient 클래스 : OLLAMA 서버 통신하기

■ HttpClient 클래스를 사용해 OLLAMA 서버와 통신하는 방법을 보여준다. ▶ OllamaRequest.cs


using System.Text.Json.Serialization;

namespace TestProject;

/// <summary>
/// OLLAMA 요청
/// </summary>
public class OllamaRequest
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Property
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region 모델 - Model

    /// <summary>
    /// 모델
    /// </summary>
    [JsonPropertyName("model")]
    public string Model { get; set; }

    #endregion
    #region 프롬프트 - Prompt

    /// <summary>
    /// 프롬프트
    /// </summary>
    [JsonPropertyName("prompt")]
    public string Prompt { get; set; }

    #endregion
    #region 스트림 여부 - Stream
    /// <summary>
    /// 스트림 여부
    /// </summary>
    [JsonPropertyName("stream")]
    public bool Stream { get; set; }

    #endregion
}

using System.Text.Json.Serialization;

namespace TestProject;

/// <summary>

/// OLLAMA 요청

/// </summary>

public class OllamaRequest

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Property

////////////////////////////////////////////////////////////////////////////////////////// Public

#region 모델 - Model

/// <summary>

/// 모델

/// </summary>

[JsonPropertyName("model")]

public string Model { get; set; }

#endregion

#region 프롬프트 - Prompt

/// <summary>

/// 프롬프트

/// </summary>

[JsonPropertyName("prompt")]

public string Prompt { get; set; }

#endregion

#region 스트림 여부 - Stream

/// <summary>

/// 스트림 여부

/// </summary>

[JsonPropertyName("stream")]

public bool Stream { get; set; }

#endregion

}

▶ OllamaResponse.cs


using System.Text.Json.Serialization;

namespace TestProject;

/// <summary>
/// OLLAMA 응답
/// </summary>
public class OllamaResponse
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Property
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region 모델 - Model

    /// <summary>
    /// 모델
    /// </summary>
    [JsonPropertyName("model")]
    public string Model { get; set; }

    #endregion
    #region 응답 - Response

    /// <summary>
    /// 응답
    /// </summary>
    [JsonPropertyName("response")]
    public string Response { get; set; }

    #endregion
    #region 완료 여부 - Done

    /// <summary>
    /// 완료 여부
    /// </summary>
    [JsonPropertyName("done")]
    public bool Done { get; set; }

    #endregion
}

using System.Text.Json.Serialization;

namespace TestProject;

/// <summary>

/// OLLAMA 응답

/// </summary>

public class OllamaResponse

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Property

////////////////////////////////////////////////////////////////////////////////////////// Public

#region 모델 - Model

/// <summary>

/// 모델

/// </summary>

[JsonPropertyName("model")]

public string Model { get; set; }

#endregion

#region 응답 - Response

/// <summary>

/// 응답

/// </summary>

[JsonPropertyName("response")]

public string Response { get; set; }

#endregion

#region 완료 여부 - Done

/// <summary>

/// 완료 여부

/// </summary>

[JsonPropertyName("done")]

public bool Done { get; set; }

#endregion

}

▶ Program.cs


using System;
using System.Net.Http;
using System.Text;
using System.Text.Json;
using System.Threading.Tasks;

namespace TestProject;

/// <summary>
/// 프로그램
/// </summary>
public class Program
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Method
    ////////////////////////////////////////////////////////////////////////////////////////// Static
    //////////////////////////////////////////////////////////////////////////////// Private

    #region OLLAMA 요청 보내기 (비동기) - SendOllamaRequestAsync(httpClient, ollamaRequest)

    /// <summary>
    /// OLLAMA 요청 보내기 (비동기)
    /// </summary>
    /// <param name="httpClient">HTTP 클라이언트</param>
    /// <param name="ollamaRequest">OLLAMA 요청</param>
    /// <returns>OLLAMA 응답 태스크</returns>
    private static async Task<OllamaResponse> SendOllamaRequestAsync(HttpClient httpClient, OllamaRequest ollamaRequest)
    {
        string json = JsonSerializer.Serialize
        (
            ollamaRequest,
            new JsonSerializerOptions { PropertyNamingPolicy = JsonNamingPolicy.CamelCase }
        );

        StringContent stringContent = new StringContent(json, Encoding.UTF8, "application/json");

        HttpResponseMessage response = await httpClient.PostAsync("/api/generate", stringContent);

        response.EnsureSuccessStatusCode();

        string responseBody = await response.Content.ReadAsStringAsync();

        return JsonSerializer.Deserialize<OllamaResponse>
        (
            responseBody,
            new JsonSerializerOptions { PropertyNamingPolicy = JsonNamingPolicy.CamelCase }
        );
    }

    #endregion
    #region 프로그램 시작하기 - Main()

    /// <summary>
    /// 프로그램 시작하기
    /// </summary>
    /// <returns>태스크</returns>
    private static async Task Main()
    {
        string baseURL = "http://localhost:11434";

        using var httpClient = new HttpClient();

        httpClient.BaseAddress = new Uri(baseURL);

        OllamaRequest ollamaRequest = new()
        {
            Model  = "bnksys/eeve-yanolja-v1:latest",
            Prompt = "여기어때와 야놀자의 차이점을 알려주세요.",
            Stream = false
        };

        try
        {
            OllamaResponse ollamaResponse = await SendOllamaRequestAsync(httpClient, ollamaRequest);

            Console.WriteLine($"질문 : {ollamaRequest.Prompt   }");
            Console.WriteLine($"응답 : {ollamaResponse.Response}");
        }
        catch(Exception exception)
        {
            Console.WriteLine($"오류 발생 : {exception.Message}");
        }
    }

    #endregion
}

using System;

using System.Net.Http;

using System.Text;

using System.Text.Json;

using System.Threading.Tasks;

namespace TestProject;

/// <summary>

/// 프로그램

/// </summary>

public class Program

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Method

////////////////////////////////////////////////////////////////////////////////////////// Static

//////////////////////////////////////////////////////////////////////////////// Private

#region OLLAMA 요청 보내기 (비동기) - SendOllamaRequestAsync(httpClient, ollamaRequest)

/// <summary>

/// OLLAMA 요청 보내기 (비동기)

/// </summary>

/// <param name="httpClient">HTTP 클라이언트</param>

/// <param name="ollamaRequest">OLLAMA 요청</param>

/// <returns>OLLAMA 응답 태스크</returns>

private static async Task<OllamaResponse> SendOllamaRequestAsync(HttpClient httpClient, OllamaRequest ollamaRequest)

{

string json = JsonSerializer.Serialize

(

ollamaRequest,

new JsonSerializerOptions { PropertyNamingPolicy = JsonNamingPolicy.CamelCase }

);

StringContent stringContent = new StringContent(json, Encoding.UTF8, "application/json");

HttpResponseMessage response = await httpClient.PostAsync("/api/generate", stringContent);

response.EnsureSuccessStatusCode();

string responseBody = await response.Content.ReadAsStringAsync();

return JsonSerializer.Deserialize<OllamaResponse>

(

responseBody,

new JsonSerializerOptions { PropertyNamingPolicy = JsonNamingPolicy.CamelCase }

);

}

#endregion

#region 프로그램 시작하기 - Main()

/// <summary>

/// 프로그램 시작하기

/// </summary>

/// <returns>태스크</returns>

private static async Task Main()

{

string baseURL = "http://localhost:11434";

using var httpClient = new HttpClient();

httpClient.BaseAddress = new Uri(baseURL);

OllamaRequest ollamaRequest = new()

{

Model = "bnksys/eeve-yanolja-v1:latest",

Prompt = "여기어때와 야놀자의 차이점을 알려주세요.",

Stream = false

};

try

{

OllamaResponse ollamaResponse = await SendOllamaRequestAsync(httpClient, ollamaRequest);

Console.WriteLine($"질문 : {ollamaRequest.Prompt }");

Console.WriteLine($"응답 : {ollamaResponse.Response}");

}

catch(Exception exception)

{

Console.WriteLine($"오류 발생 : {exception.Message}");

}

#endregion

}

TestProject.zip

[PYTHON/LANGCHAIN] 모델에서 임시 도구 호출 기능 추가하기 4

■ 모델에서 임시 도구 호출 기능을 추가하는 방법을 보여준다. ※ 도구 출력뿐만 아니라 도구 입력도 반환하는 것이 도움이 될 수 있다. ※

[PYTHON/LANGCHAIN] 모델에서 임시 도구 호출 기능 추가하기 3

■ 모델에서 임시 도구 호출 기능을 추가하는 방법을 보여준다. ▶ main.py


from langchain_core.tools          import tool
from langchain_core.tools          import render_text_description
from langchain_core.prompts        import ChatPromptTemplate
from langchain_community.llms      import Ollama
from langchain_core.output_parsers import JsonOutputParser
from typing                        import TypedDict
from typing                        import Dict
from typing                        import Any
from typing                        import Optional
from langchain_core.runnables      import RunnableConfig

@tool
def multiply(x : float, y : float) -> float:
    """Multiply two numbers together."""
    return x * y

@tool
def add(x : int, y : int) -> int:
    "Add two numbers."
    return x + y

toolList = [multiply, add]

toolListTextDescription = render_text_description(toolList)

systemPromptTemplateString = f"""\
You are an assistant that has access to the following set of tools.
Here are the names and descriptions for each tool:

{toolListTextDescription}

Given the user input, return the name and input of the tool to use.
Return your response as a JSON blob with 'name' and 'argumentDictionary' keys.

The `argumentDictionary` should be a dictionary, with keys corresponding
to the argument names and the values corresponding to the requested values.
"""

chatPromptTemplate = ChatPromptTemplate.from_messages(
    [
        ("system", systemPromptTemplateString),
        ("user"  , "{input}")
    ]
)

ollama = Ollama(model = "phi3:latest")

jsonOutputParser = JsonOutputParser()

class ToolCallRequest(TypedDict):
    """A typed dict that shows the inputs into the invoke_tool function."""

    name               : str
    argumentDictionary : Dict[str, Any]

def invokeTool(toolCallRequest : ToolCallRequest, runnableConfig : Optional[RunnableConfig] = None):
    """A function that we can use the perform a tool invocation.

    Args :
        toolCallRequest : a dict that contains the keys name and arguments.
            The name must match the name of a tool that exists.
            The argumentDictionary are the arguments to that tool.
        runnableConfig : This is configuration information that LangChain uses that contains
            things like callbacks, metadata, etc.See LCEL documentation about RunnableConfig.

    Returns :
        output from the requested tool
    """
    toolNameDictionary = {tool.name : tool for tool in toolList}
    name = toolCallRequest["name"]
    tool = toolNameDictionary[name]
    return tool.invoke(toolCallRequest["argumentDictionary"], config = runnableConfig)

runnableSequence = chatPromptTemplate | ollama | jsonOutputParser | invokeTool

responseValue = runnableSequence.invoke({"input" : "what's thirteen times 4.14137281"})

print(responseValue)

"""
53.83784653
"""

from langchain_core.tools import tool

from langchain_core.tools import render_text_description

from langchain_core.prompts import ChatPromptTemplate

from langchain_community.llms import Ollama

from langchain_core.output_parsers import JsonOutputParser

from typing import TypedDict

from typing import Dict

from typing import Any

from typing import Optional

from langchain_core.runnables import RunnableConfig

@tool

def multiply(x : float, y : float) -> float:

"""Multiply two numbers together."""

return x * y

@tool

def add(x : int, y : int) -> int:

"Add two numbers."

return x + y

toolList = [multiply, add]

toolListTextDescription = render_text_description(toolList)

systemPromptTemplateString = f"""\

You are an assistant that has access to the following set of tools.

Here are the names and descriptions for each tool:

{toolListTextDescription}

Given the user input, return the name and input of the tool to use.

Return your response as a JSON blob with 'name' and 'argumentDictionary' keys.

The `argumentDictionary` should be a dictionary, with keys corresponding

to the argument names and the values corresponding to the requested values.

"""

chatPromptTemplate = ChatPromptTemplate.from_messages(

[

("system", systemPromptTemplateString),

("user" , "{input}")

]

)

ollama = Ollama(model = "phi3:latest")

jsonOutputParser = JsonOutputParser()

class ToolCallRequest(TypedDict):

"""A typed dict that shows the inputs into the invoke_tool function."""

name : str

argumentDictionary : Dict[str, Any]

def invokeTool(toolCallRequest : ToolCallRequest, runnableConfig : Optional[RunnableConfig] = None):

"""A function that we can use the perform a tool invocation.

Args :

toolCallRequest : a dict that contains the keys name and arguments.

The name must match the name of a tool that exists.

The argumentDictionary are the arguments to that tool.

runnableConfig : This is configuration information that LangChain uses that contains

things like callbacks, metadata, etc.See LCEL documentation about RunnableConfig.

Returns :

output from the requested tool

"""

toolNameDictionary = {tool.name : tool for tool in toolList}

name = toolCallRequest["name"]

tool = toolNameDictionary[name]

return tool.invoke(toolCallRequest["argumentDictionary"], config = runnableConfig)

runnableSequence = chatPromptTemplate | ollama | jsonOutputParser | invokeTool

responseValue = runnableSequence.invoke({"input" : "what's thirteen times 4.14137281"})

print(responseValue)

"""

53.83784653

"""

▶ requirements.txt


aiohappyeyeballs==2.4.3
aiohttp==3.10.8
aiosignal==1.3.1
annotated-types==0.7.0
anyio==4.6.0
attrs==24.2.0
certifi==2024.8.30
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.1.1
h11==0.14.0
httpcore==1.0.6
httpx==0.27.2
idna==3.10
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.3.1
langchain-community==0.3.1
langchain-core==0.3.8
langchain-text-splitters==0.3.0
langsmith==0.1.130
marshmallow==3.22.0
multidict==6.1.0
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.7
packaging==24.1
pydantic==2.9.2
pydantic-settings==2.5.2
pydantic_core==2.23.4
python-dotenv==1.0.1
PyYAML==6.0.2
requests==2.32.3
requests-toolbelt==1.0.0
sniffio==1.3.1
SQLAlchemy==2.0.35
tenacity==8.5.0
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.3
yarl==1.13.1

aiohappyeyeballs==2.4.3

aiohttp==3.10.8

aiosignal==1.3.1

annotated-types==0.7.0

anyio==4.6.0

attrs==24.2.0

certifi==2024.8.30

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.1.1

h11==0.14.0

httpcore==1.0.6

httpx==0.27.2

idna==3.10

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.3.1

langchain-community==0.3.1

langchain-core==0.3.8

langchain-text-splitters==0.3.0

langsmith==0.1.130

marshmallow==3.22.0

multidict==6.1.0

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.7

packaging==24.1

pydantic==2.9.2

pydantic-settings==2.5.2

pydantic_core==2.23.4

python-dotenv==1.0.1

PyYAML==6.0.2

requests==2.32.3

requests-toolbelt==1.0.0

sniffio==1.3.1

SQLAlchemy==2.0.35

tenacity==8.5.0

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.3

yarl==1.13.1

※ pip install langchain langchain-community 명령을 실행했다.

[PYTHON/LANGCHAIN] 모델에서 임시 도구 호출 기능 추가하기 2

■ 모델에서 임시 도구 호출 기능을 추가하는 방법을 보여준다. ▶ main.py


from langchain_core.tools          import tool
from langchain_core.tools          import render_text_description
from langchain_core.prompts        import ChatPromptTemplate
from langchain_community.llms      import Ollama
from langchain_core.output_parsers import JsonOutputParser

@tool
def multiply(x : float, y : float) -> float:
    """Multiply two numbers together."""
    return x * y

@tool
def add(x : int, y : int) -> int:
    "Add two numbers."
    return x + y

toolList = [multiply, add]

toolListTextDescription = render_text_description(toolList)

systemPromptTemplateString = f"""\
You are an assistant that has access to the following set of tools.
Here are the names and descriptions for each tool:

{toolListTextDescription}

Given the user input, return the name and input of the tool to use.
Return your response as a JSON blob with 'name' and 'arguments' keys.

The `arguments` should be a dictionary, with keys corresponding
to the argument names and the values corresponding to the requested values.
"""

chatPromptTemplate = ChatPromptTemplate.from_messages(
    [
        ("system", systemPromptTemplateString),
        ("user"  , "{input}")
    ]
)

ollama = Ollama(model = "phi3:latest")

jsonOutputParser = JsonOutputParser()

runnableSequence = chatPromptTemplate | ollama | jsonOutputParser

responseDictionary = runnableSequence.invoke({"input" : "what's 3 plus 1132"})

print(responseDictionary)

"""
{'name': 'add', 'arguments': {'x': 3, 'y': 1132}}
"""

from langchain_core.tools import tool

from langchain_core.tools import render_text_description

from langchain_core.prompts import ChatPromptTemplate

from langchain_community.llms import Ollama

from langchain_core.output_parsers import JsonOutputParser

@tool

def multiply(x : float, y : float) -> float:

"""Multiply two numbers together."""

return x * y

@tool

def add(x : int, y : int) -> int:

"Add two numbers."

return x + y

toolList = [multiply, add]

toolListTextDescription = render_text_description(toolList)

systemPromptTemplateString = f"""\

You are an assistant that has access to the following set of tools.

Here are the names and descriptions for each tool:

{toolListTextDescription}

Given the user input, return the name and input of the tool to use.

Return your response as a JSON blob with 'name' and 'arguments' keys.

The `arguments` should be a dictionary, with keys corresponding

to the argument names and the values corresponding to the requested values.

"""

chatPromptTemplate = ChatPromptTemplate.from_messages(

[

("system", systemPromptTemplateString),

("user" , "{input}")

]

)

ollama = Ollama(model = "phi3:latest")

jsonOutputParser = JsonOutputParser()

runnableSequence = chatPromptTemplate | ollama | jsonOutputParser

responseDictionary = runnableSequence.invoke({"input" : "what's 3 plus 1132"})

print(responseDictionary)

"""

{'name': 'add', 'arguments': {'x': 3, 'y': 1132}}

"""

▶ requirements.txt


aiohappyeyeballs==2.4.3
aiohttp==3.10.8
aiosignal==1.3.1
annotated-types==0.7.0
anyio==4.6.0
attrs==24.2.0
certifi==2024.8.30
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.1.1
h11==0.14.0
httpcore==1.0.6
httpx==0.27.2
idna==3.10
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.3.1
langchain-community==0.3.1
langchain-core==0.3.8
langchain-text-splitters==0.3.0
langsmith==0.1.130
marshmallow==3.22.0
multidict==6.1.0
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.7
packaging==24.1
pydantic==2.9.2
pydantic-settings==2.5.2
pydantic_core==2.23.4
python-dotenv==1.0.1
PyYAML==6.0.2
requests==2.32.3
requests-toolbelt==1.0.0
sniffio==1.3.1
SQLAlchemy==2.0.35
tenacity==8.5.0
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.3
yarl==1.13.1

aiohappyeyeballs==2.4.3

aiohttp==3.10.8

aiosignal==1.3.1

annotated-types==0.7.0

anyio==4.6.0

attrs==24.2.0

certifi==2024.8.30

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.1.1

h11==0.14.0

httpcore==1.0.6

httpx==0.27.2

idna==3.10

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.3.1

langchain-community==0.3.1

langchain-core==0.3.8

langchain-text-splitters==0.3.0

langsmith==0.1.130

marshmallow==3.22.0

multidict==6.1.0

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.7

packaging==24.1

pydantic==2.9.2

pydantic-settings==2.5.2

pydantic_core==2.23.4

python-dotenv==1.0.1

PyYAML==6.0.2

requests==2.32.3

requests-toolbelt==1.0.0

sniffio==1.3.1

SQLAlchemy==2.0.35

tenacity==8.5.0

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.3

yarl==1.13.1

※ pip install langchain langchain-community 명령을 실행했다.

[PYTHON/LANGCHAIN] 모델에서 임시 도구 호출 기능 추가하기 1

■ 모델에서 임시 도구 호출 기능을 추가하는 방법을 보여준다. ▶ main.py


from langchain_core.tools     import tool
from langchain_core.tools     import render_text_description
from langchain_core.prompts   import ChatPromptTemplate
from langchain_community.llms import Ollama

@tool
def multiply(x : float, y : float) -> float:
    """Multiply two numbers together."""
    return x * y

@tool
def add(x : int, y : int) -> int:
    "Add two numbers."
    return x + y

toolList = [multiply, add]

toolListTextDescription = render_text_description(toolList)

systemPromptTemplateString = f"""\
You are an assistant that has access to the following set of tools.
Here are the names and descriptions for each tool:

{toolListTextDescription}

Given the user input, return the name and input of the tool to use.
Return your response as a JSON blob with 'name' and 'arguments' keys.

The `arguments` should be a dictionary, with keys corresponding
to the argument names and the values corresponding to the requested values.
"""

chatPromptTemplate = ChatPromptTemplate.from_messages(
    [
        ("system", systemPromptTemplateString),
        ("user"  , "{input}")
    ]
)

ollama = Ollama(model = "phi3:latest")

runnableSequence = chatPromptTemplate | ollama

response = runnableSequence.invoke({"input" : "what's 3 plus 1132"})

if isinstance(response, str):
    print(response)
else:
    print(response.content)

"""
```json
{
  "name": "add",
  "arguments": {
    "x": 3,
    "y": 1132
  }
}
```

How can I assist you further? (If the user'sin a different context or needs help with something else)
"""

from langchain_core.tools import tool

from langchain_core.tools import render_text_description

from langchain_core.prompts import ChatPromptTemplate

from langchain_community.llms import Ollama

@tool

def multiply(x : float, y : float) -> float:

"""Multiply two numbers together."""

return x * y

@tool

def add(x : int, y : int) -> int:

"Add two numbers."

return x + y

toolList = [multiply, add]

toolListTextDescription = render_text_description(toolList)

systemPromptTemplateString = f"""\

You are an assistant that has access to the following set of tools.

Here are the names and descriptions for each tool:

{toolListTextDescription}

Given the user input, return the name and input of the tool to use.

Return your response as a JSON blob with 'name' and 'arguments' keys.

The `arguments` should be a dictionary, with keys corresponding

to the argument names and the values corresponding to the requested values.

"""

chatPromptTemplate = ChatPromptTemplate.from_messages(

[

("system", systemPromptTemplateString),

("user" , "{input}")

]

)

ollama = Ollama(model = "phi3:latest")

runnableSequence = chatPromptTemplate | ollama

response = runnableSequence.invoke({"input" : "what's 3 plus 1132"})

if isinstance(response, str):

print(response)

else:

print(response.content)

"""

```json

{

"name": "add",

"arguments": {

"x": 3,

"y": 1132

}

```

How can I assist you further? (If the user'sin a different context or needs help with something else)

"""

▶ requirements.txt


aiohappyeyeballs==2.4.3
aiohttp==3.10.8
aiosignal==1.3.1
annotated-types==0.7.0
anyio==4.6.0
attrs==24.2.0
certifi==2024.8.30
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.1.1
h11==0.14.0
httpcore==1.0.6
httpx==0.27.2
idna==3.10
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.3.1
langchain-community==0.3.1
langchain-core==0.3.8
langchain-text-splitters==0.3.0
langsmith==0.1.130
marshmallow==3.22.0
multidict==6.1.0
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.7
packaging==24.1
pydantic==2.9.2
pydantic-settings==2.5.2
pydantic_core==2.23.4
python-dotenv==1.0.1
PyYAML==6.0.2
requests==2.32.3
requests-toolbelt==1.0.0
sniffio==1.3.1
SQLAlchemy==2.0.35
tenacity==8.5.0
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.3
yarl==1.13.1

aiohappyeyeballs==2.4.3

aiohttp==3.10.8

aiosignal==1.3.1

annotated-types==0.7.0

anyio==4.6.0

attrs==24.2.0

certifi==2024.8.30

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.1.1

h11==0.14.0

httpcore==1.0.6

httpx==0.27.2

idna==3.10

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.3.1

langchain-community==0.3.1

langchain-core==0.3.8

langchain-text-splitters==0.3.0

langsmith==0.1.130

marshmallow==3.22.0

multidict==6.1.0

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.7

packaging==24.1

pydantic==2.9.2

pydantic-settings==2.5.2

pydantic_core==2.23.4

python-dotenv==1.0.1

PyYAML==6.0.2

requests==2.32.3

requests-toolbelt==1.0.0

sniffio==1.3.1

SQLAlchemy==2.0.35

tenacity==8.5.0

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.3

yarl==1.13.1

※ pip install langchain langchain-community 명령을 실행했다.

[PYTHON/LANGCHAIN] Ollama 클래스 : 텍스트 생성하기

■ Ollama 클래스를 사용해 텍스트를 생성하는 방법을 보여준다. ▶ main.py


from langchain_community.llms import Ollama

ollama = Ollama(
    model          = "llama3.1:8b-instruct-q2_K",
    temperature    = 0.7,
    repeat_penalty = 1.3
)

responseString = ollama.invoke("python으로 시간을 출력하는 코드를 만들어주세요.")

print(responseString)

from langchain_community.llms import Ollama

ollama = Ollama(

model = "llama3.1:8b-instruct-q2_K",

temperature = 0.7,

repeat_penalty = 1.3

)

responseString = ollama.invoke("python으로 시간을 출력하는 코드를 만들어주세요.")

print(responseString)

▶ requirements.txt


aiohappyeyeballs==2.4.0
aiohttp==3.10.5
aiosignal==1.3.1
annotated-types==0.7.0
anyio==4.6.0
attrs==24.2.0
certifi==2024.8.30
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.1.1
h11==0.14.0
httpcore==1.0.5
httpx==0.27.2
idna==3.10
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.3.0
langchain-community==0.3.0
langchain-core==0.3.5
langchain-text-splitters==0.3.0
langsmith==0.1.125
marshmallow==3.22.0
multidict==6.1.0
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.7
packaging==24.1
pydantic==2.9.2
pydantic-settings==2.5.2
pydantic_core==2.23.4
python-dotenv==1.0.1
PyYAML==6.0.2
requests==2.32.3
sniffio==1.3.1
SQLAlchemy==2.0.35
tenacity==8.5.0
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.3
yarl==1.11.1

aiohappyeyeballs==2.4.0

aiohttp==3.10.5

aiosignal==1.3.1

annotated-types==0.7.0

anyio==4.6.0

attrs==24.2.0

certifi==2024.8.30

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.1.1

h11==0.14.0

httpcore==1.0.5

httpx==0.27.2

idna==3.10

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.3.0

langchain-community==0.3.0

langchain-core==0.3.5

langchain-text-splitters==0.3.0

langsmith==0.1.125

marshmallow==3.22.0

multidict==6.1.0

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.7

packaging==24.1

pydantic==2.9.2

pydantic-settings==2.5.2

pydantic_core==2.23.4

python-dotenv==1.0.1

PyYAML==6.0.2

requests==2.32.3

sniffio==1.3.1

SQLAlchemy==2.0.35

tenacity==8.5.0

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.3

yarl==1.11.1

※ pip install langchain-community 명령을 실행했다.

[PYTHON/LANGCHAIN] ChatOllama 클래스 : 사용자 질문 분류하기

■ ChatOllama 클래스를 사용해 사용자 질문을 분류하는 방법을 보여준다. ▶ main.py


from chat_classifier import ChatClassifier

# 사용 예시
if __name__ == "__main__":
    chatClassifier = ChatClassifier(baseURL = "http://localhost:11434", modelName = "llama3.1:8b-instruct-q2_K", temperature = 0)

    questionList = [
        "파이썬으로 크롬 브라우저를 실행하는 프로그램을 작성해줘",
        "메모장을 실행해줘",
        "크롬에서 현재 보고 있는 웹페이지를 요약해줘",
        "메모장 열어",
        "오늘 날씨 어때?",
        "대한민국 수도는 어디인가요?",
        "웹 브라우저 내용 정리해줘",
        "python으로 시간을 출력하는 프로그램을 작성해 주세요.",
        "실행중인 크롬 브라우저의 활성탭에서 내용을 요약해줘",
        "크롬 브라우저 내용 요약해",
    ]

    for question in questionList:
        result = chatClassifier.classify(question)
        print(question)
        print(result.strip())
        print()

"""
파이썬으로 크롬 브라우저를 실행하는 프로그램을 작성해줘
NONE

메모장을 실행해줘
노트패드실행

크롬에서 현재 보고 있는 웹페이지를 요약해줘
브라우저요약

메모장 열어
노트패드실행

오늘 날씨 어때?
NONE

대한민국 수도는 어디인가요?
NONE

웹 브라우저 내용 정리해줘
NONE

python으로 시간을 출력하는 프로그램을 작성해 주세요.
NONE

실행중인 크롬 브라우저의 활성탭에서 내용을 요약해줘
브라우저요약

크롬 브라우저 내용 요약해
브라우저요약
"""

from chat_classifier import ChatClassifier

# 사용 예시

if __name__ == "__main__":

chatClassifier = ChatClassifier(baseURL = "http://localhost:11434", modelName = "llama3.1:8b-instruct-q2_K", temperature = 0)

questionList = [

"파이썬으로 크롬 브라우저를 실행하는 프로그램을 작성해줘",

"메모장을 실행해줘",

"크롬에서 현재 보고 있는 웹페이지를 요약해줘",

"메모장 열어",

"오늘 날씨 어때?",

"대한민국 수도는 어디인가요?",

"웹 브라우저 내용 정리해줘",

"python으로 시간을 출력하는 프로그램을 작성해 주세요.",

"실행중인 크롬 브라우저의 활성탭에서 내용을 요약해줘",

"크롬 브라우저 내용 요약해",

]

for question in questionList:

result = chatClassifier.classify(question)

print(question)

print(result.strip())

print()

"""

파이썬으로 크롬 브라우저를 실행하는 프로그램을 작성해줘

NONE

메모장을 실행해줘

노트패드실행

크롬에서 현재 보고 있는 웹페이지를 요약해줘

브라우저요약

메모장 열어

노트패드실행

오늘 날씨 어때?

NONE

대한민국 수도는 어디인가요?

NONE

웹 브라우저 내용 정리해줘

NONE

python으로 시간을 출력하는 프로그램을 작성해 주세요.

NONE

실행중인 크롬 브라우저의 활성탭에서 내용을 요약해줘

브라우저요약

크롬 브라우저 내용 요약해

브라우저요약

"""

▶ chat_classifier.py


from langchain.prompts               import PromptTemplate
from langchain_community.chat_models import ChatOllama
from langchain_core.output_parsers   import StrOutputParser

class ChatClassifier:
    def __init__(self, baseURL, modelName, temperature):
        self.baseURL     = baseURL
        self.modelName   = modelName
        self.temperature = temperature

        self.promptTemplateString = """
당신은 AI 어시스턴트입니다.

사용자의 질문을 분석하고 사용자의 의도를 판단해 아래 3가지 그룹 중 하나의 그룹으로 분류합니다 :

1. 사용자가 윈도우즈에서 메모장을 실행하라고 요청하는 경우 '노트패드실행' 그룹으로 분류합니다. 예 : "메모장을 열어줘", "메모장 실행", "노트패드 실행해", "노트패드 오픈"
2. 사용자가 윈도우즈에서 실행 중인 크롬 브라우저나 엣지 브라우저들 중 메인 브라우저의 활성 탭에 있는 웹 페이지 내용을 요약해달라고 요청하는 경우 '브라우저요약' 그룹으로 분류합니다. 예 : "크롬 브라우저의 현재 탭 내용을 요약해줘", "엣지에서 보고 있는 페이지를 요약해", "웹 브라우저의 웹 페이지 요약해줘"
3. 나머지 사용자 질문은 모두 'NONE' 그룹으로 분류합니다.

당신은 다른 설명이나 추가 텍스트 없이 '노트패드실행', '브라우저요약', 'NONE' 단어 중 하나의 단어만 응답합니다.

사용자 질문 : {question}"""

        self.promptTemplate = PromptTemplate(
            input_variables = ["question"],
            template        = self.promptTemplateString
        )

        self.chatOllama = ChatOllama(
            base_url       = self.baseURL,
            model          = self.modelName,
            temperature    = self.temperature,  # 생성 텍스트의 무작위성 정도 (0.0 ~ 1.0)
            top_p          = 0.9,               # 상위 확률 임계값
            num_ctx        = 4096,              # 컨텍스트 길이
            repeat_penalty = 1.1,               # 반복 패널티
            stop           = ["Human:", "AI:"], # 생성 중지 토큰
            seed           = 42,                # 난수 생성 시드
            verbose        = False
        )

        self.runnableSequence = self.promptTemplate | self.chatOllama | StrOutputParser()

    def classify(self, question):
        result = self.runnableSequence.invoke({"question" : question})
        result = result.strip()
        if result == "노트패드실행" or result == "브라우저요약":
            return result
        return "NONE"

from langchain.prompts import PromptTemplate

from langchain_community.chat_models import ChatOllama

from langchain_core.output_parsers import StrOutputParser

class ChatClassifier:

def __init__(self, baseURL, modelName, temperature):

self.baseURL = baseURL

self.modelName = modelName

self.temperature = temperature

self.promptTemplateString = """

당신은 AI 어시스턴트입니다.

사용자의 질문을 분석하고 사용자의 의도를 판단해 아래 3가지 그룹 중 하나의 그룹으로 분류합니다 :

1. 사용자가 윈도우즈에서 메모장을 실행하라고 요청하는 경우 '노트패드실행' 그룹으로 분류합니다. 예 : "메모장을 열어줘", "메모장 실행", "노트패드 실행해", "노트패드 오픈"

2. 사용자가 윈도우즈에서 실행 중인 크롬 브라우저나 엣지 브라우저들 중 메인 브라우저의 활성 탭에 있는 웹 페이지 내용을 요약해달라고 요청하는 경우 '브라우저요약' 그룹으로 분류합니다. 예 : "크롬 브라우저의 현재 탭 내용을 요약해줘", "엣지에서 보고 있는 페이지를 요약해", "웹 브라우저의 웹 페이지 요약해줘"

3. 나머지 사용자 질문은 모두 'NONE' 그룹으로 분류합니다.

당신은 다른 설명이나 추가 텍스트 없이 '노트패드실행', '브라우저요약', 'NONE' 단어 중 하나의 단어만 응답합니다.

사용자 질문 : {question}"""

self.promptTemplate = PromptTemplate(

input_variables = ["question"],

template = self.promptTemplateString

)

self.chatOllama = ChatOllama(

base_url = self.baseURL,

model = self.modelName,

temperature = self.temperature, # 생성 텍스트의 무작위성 정도 (0.0 ~ 1.0)

top_p = 0.9, # 상위 확률 임계값

num_ctx = 4096, # 컨텍스트 길이

repeat_penalty = 1.1, # 반복 패널티

stop = ["Human:", "AI:"], # 생성 중지 토큰

seed = 42, # 난수 생성 시드

verbose = False

)

self.runnableSequence = self.promptTemplate | self.chatOllama | StrOutputParser()

def classify(self, question):

result = self.runnableSequence.invoke({"question" : question})

result = result.strip()

if result == "노트패드실행" or result == "브라우저요약":

return result

return "NONE"

▶ requirements.txt


aiohappyeyeballs==2.4.0
aiohttp==3.10.5
aiosignal==1.3.1
annotated-types==0.7.0
anyio==4.5.0
attrs==24.2.0
certifi==2024.8.30
charset-normalizer==3.3.2
dataclasses-json==0.6.7
frozenlist==1.4.1
greenlet==3.1.0
h11==0.14.0
httpcore==1.0.5
httpx==0.27.2
idna==3.10
jsonpatch==1.33
jsonpointer==3.0.0
langchain==0.3.0
langchain-community==0.3.0
langchain-core==0.3.2
langchain-text-splitters==0.3.0
langsmith==0.1.125
marshmallow==3.22.0
multidict==6.1.0
mypy-extensions==1.0.0
numpy==1.26.4
orjson==3.10.7
packaging==24.1
pydantic==2.9.2
pydantic-settings==2.5.2
pydantic_core==2.23.4
python-dotenv==1.0.1
PyYAML==6.0.2
requests==2.32.3
sniffio==1.3.1
SQLAlchemy==2.0.35
tenacity==8.5.0
typing-inspect==0.9.0
typing_extensions==4.12.2
urllib3==2.2.3
yarl==1.11.1

aiohappyeyeballs==2.4.0

aiohttp==3.10.5

aiosignal==1.3.1

annotated-types==0.7.0

anyio==4.5.0

attrs==24.2.0

certifi==2024.8.30

charset-normalizer==3.3.2

dataclasses-json==0.6.7

frozenlist==1.4.1

greenlet==3.1.0

h11==0.14.0

httpcore==1.0.5

httpx==0.27.2

idna==3.10

jsonpatch==1.33

jsonpointer==3.0.0

langchain==0.3.0

langchain-community==0.3.0

langchain-core==0.3.2

langchain-text-splitters==0.3.0

langsmith==0.1.125

marshmallow==3.22.0

multidict==6.1.0

mypy-extensions==1.0.0

numpy==1.26.4

orjson==3.10.7

packaging==24.1

pydantic==2.9.2

pydantic-settings==2.5.2

pydantic_core==2.23.4

python-dotenv==1.0.1

PyYAML==6.0.2

requests==2.32.3

sniffio==1.3.1

SQLAlchemy==2.0.35

tenacity==8.5.0

typing-inspect==0.9.0

typing_extensions==4.12.2

urllib3==2.2.3

yarl==1.11.1

※ pip install langchain-community

[C#/COMMON/.NET8] HttpClient 클래스 : Ollama 연동 파이썬 LLM 서버 통신하기

■ HttpClient 클래스를 사용해 Ollama 연동 파이썬 LLM 서버와 통신하는 방법을 보여준다. ▶ AdditionalKeywordArgument.cs


namespace TestProject;

/// <summary>
/// 부가적 키워드 인자
/// </summary>
public class AdditionalKeywordArgument
{
}

namespace TestProject;

/// <summary>

/// 부가적 키워드 인자

/// </summary>

public class AdditionalKeywordArgument

{

}

▶ AIMessageChunk.cs


using Newtonsoft.Json;

namespace TestProject;

/// <summary>
/// AI 메시지 청크
/// </summary>
public class AIMessageChunk
{
    //////////////////////////////////////////////////////////////////////////////////////////////////// Property
    ////////////////////////////////////////////////////////////////////////////////////////// Public

    #region 컨텐트 - Content

    /// <summary>
    /// 컨텐트
    /// </summary>
    [JsonProperty("content")]
    public string Content { get; set; }

    #endregion
    #region 부가적 키워드 인자 - AdditionalKeywordArgument

    /// <summary>
    /// 부가적 키워드 인자
    /// </summary>
    [JsonProperty("additional_kwargs")]
    public AdditionalKeywordArgument AdditionalKeywordArgument { get; set; }

    #endregion
    #region 응답 메타 데이터 - ResponseMetadata

    /// <summary>
    /// 응답 메타 데이터
    /// </summary>
    [JsonProperty("response_metadata")]
    public ResponseMetadata ResponseMetadata { get; set; }

    #endregion
    #region 타입 - Type

    /// <summary>
    /// 타입
    /// </summary>
    [JsonProperty("type")]
    public string Type { get; set; }

    #endregion
    #region 명칭 - Name

    /// <summary>
    /// 명칭
    /// </summary>
    [JsonProperty("name")]
    public string Name { get; set; }

    #endregion
    #region ID - ID

    /// <summary>
    /// ID
    /// </summary>
    [JsonProperty("id")]
    public string ID { get; set; }

    #endregion
    #region 예제 여부 - Example

    /// <summary>
    /// 예제 여부
    /// </summary>
    [JsonProperty("example")]
    public bool Example { get; set; }

    #endregion
    #region 도구 호출 리스트 - ToolCallList

    /// <summary>
    /// 도구 호출 리스트
    /// </summary>
    [JsonProperty("tool_calls")]
    public ToolCallList ToolCallList { get; set; }

    #endregion
    #region 무효 도구 호출 리스트 - InvalidToolCallList

    /// <summary>
    /// 무효 도구 호출 리스트
    /// </summary>
    [JsonProperty("invalid_tool_calls")]
    public InvalidToolCallList InvalidToolCallList { get; set; }

    #endregion
    #region 사용 메타 데이터 - UsageMetadata

    /// <summary>
    /// 사용 메타 데이터
    /// </summary>
    [JsonProperty("usage_metadata")]
    public UsageMetadata UsageMetadata { get; set; }

    #endregion
    #region 도구 호출 청크 리스트 - ToolCallChunkList

    /// <summary>
    /// 도구 호출 청크 리스트
    /// </summary>
    [JsonProperty("tool_call_chunks")]
    public ToolCallChunkList ToolCallChunkList { get; set; }

    #endregion
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

using Newtonsoft.Json;

namespace TestProject;

/// <summary>

/// AI 메시지 청크

/// </summary>

public class AIMessageChunk

{

//////////////////////////////////////////////////////////////////////////////////////////////////// Property

////////////////////////////////////////////////////////////////////////////////////////// Public

#region 컨텐트 - Content

/// <summary>

/// 컨텐트

/// </summary>

[JsonProperty("content")]

public string Content { get; set; }

#endregion

#region 부가적 키워드 인자 - AdditionalKeywordArgument

/// <summary>

/// 부가적 키워드 인자

/// </summary>

[JsonProperty("additional_kwargs")]

public AdditionalKeywordArgument AdditionalKeywordArgument { get; set; }

#endregion

#region 응답 메타 데이터 - ResponseMetadata

/// <summary>

/// 응답 메타 데이터

/// </summary>

[JsonProperty("response_metadata")]

public ResponseMetadata ResponseMetadata { get; set; }

#endregion

#region 타입 - Type

/// <summary>

/// 타입

/// </summary>

[JsonProperty("type")]

public string Type { get; set; }

#endregion

#region 명칭 - Name

/// <summary>

/// 명칭

/// </summary>

[JsonProperty("name")]

public string Name { get; set; }

#endregion

#region ID - ID

/// <summary>

/// ID

/// </summary>

[JsonProperty("id")]

public string ID { get; set; }

#endregion

#region 예제 여부 - Example

/// <summary>

/// 예제 여부

/// </summary>

[JsonProperty("example")]

public bool Example { get; set; }

#endregion

#region 도구 호출 리스트 - ToolCallList

/// <summary>

/// 도구 호출 리스트

/// </summary>

[JsonProperty("tool_calls")]

public ToolCallList ToolCallList { get; set; }

#endregion

#region 무효 도구 호출 리스트 - InvalidToolCallList

/// <summary>

/// 무효 도구 호출 리스트

/// </summary>

[JsonProperty("invalid_tool_calls")]

public InvalidToolCallList InvalidToolCallList { get; set; }

#endregion

#region 사용 메타 데이터 - UsageMetadata

/// <summary>

/// 사용 메타 데이터

/// </summary>

[JsonProperty("usage_metadata")]

public UsageMetadata UsageMetadata { get; set; }

#endregion

#region 도구 호출 청크 리스트 - ToolCallChunkList

/// <summary>

/// 도구 호출 청크 리스트

/// </summary>

[JsonProperty("tool_call_chunks")]

public ToolCallChunkList ToolCallChunkList { get; set; }

#endregion

}

▶ InvalidToolCallList.cs


using System.Collections.Generic;

namespace TestProject;

/// <summary>
/// 무효 도구 호출 리스트
/// </summary>
public class InvalidToolCallList : List<object>
{
}

using System.Collections.Generic;

namespace TestProject;

/// <summary>

/// 무효 도구 호출 리스트

/// </summary>

public class InvalidToolCallList : List<object>

{

}

▶

[PYTHON/LANGCHAIN] 라마 3.1 한국어 모델 채팅 서버/클라이언트 프로그램 만들기 2

■ 라마 3.1 한국어 모델과 채팅하는 서버/클라이언트 프로그램을 만드는 방법을 보여준다. ※ Ollama 설치/실행과 llama3.1:8b-instruct-q2_K 모델이 다운로드 되어 있어야 한다. ▶ server.py

[PYTHON/LANGCHAIN] 라마 3.1 한국어 모델 채팅 서버/클라이언트 프로그램 만들기 1

[PYTHON/LANGCHAIN] ChatOllama 클래스 : ollama에서 gemma2 모델 챗봇 만들기

■ ChatOllama 클래스를 사용해 ollama에서 gemma2 모델 챗봇을 만드는 방법을 보여준다. ※ Ollama 설치와 gemma2:2b 모델이 다운로드 되어 있어야 한다. ▶ main.py

[PYTHON/LANGCHAIN] ChatOllama 클래스 : ollama에서 gemma2 모델 채팅 프로그램 만들기

■ ChatOllama 클래스를 사용해 ollama에서 gemma2 모델 채팅 프로그램을 만드는 방법을 보여준다. ※ Ollama 설치와 gemma2:2b 모델이 다운로드 되어 있어야 한다. ▶

[TOOL/OLLAMA] ollama 명령 : create 옵션을 사용해 ggml-model-q4_k_m.gguf 파일에서 모델 생성하기

■ ollama 명령의 create 옵션을 사용해 .gguf 파일에서 모델을 생성하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 아래 스크립트를 실행한다. ▶ 실행

[PYTHON/LANGCHAIN] AgentExecutor 클래스 : 크롬 브라우저 웹 주소를 구하거나 윈도우즈 메모장 실행하기

■ AgentExecutor 클래스를 사용해 크롬 브라우저 웹 주소를 구하거나 윈도우즈 메모장을 실행하는 방법을 보여준다. ※ Ollama 설치와 benedict/linkbricks-llama3.1-korean:8b 모델이 다운로드 되어 있어야

[PYTHON/LANGCHAIN] ConversationBufferMemory 클래스 : 생성자를 사용해 객체 만들기

■ ConversationBufferMemory 클래스의 생성자를 사용해 객체를 만드는 방법을 보여준다. ▶ 예제 코드 (PY)


from langchain.memory import ConversationBufferMemory

conversationBufferMemory = ConversationBufferMemory(memory_key = "chat_history", return_messages = True)

from langchain.memory import ConversationBufferMemory

conversationBufferMemory = ConversationBufferMemory(memory_key = "chat_history", return_messages = True)

[PYTHON/LANGCHAIN] ChatOllama 클래스 : 생성자를 사용해 객체 만들기

■ ChatOllama 클래스의 생성자를 사용해 객체를 만드는 방법을 보여준다. ▶ 예제 코드 (PY)


from langchain.chat_models import ChatOllama

chatOllama = ChatOllama(model = "benedict/linkbricks-llama3.1-korean:8b")

from langchain.chat_models import ChatOllama

chatOllama = ChatOllama(model = "benedict/linkbricks-llama3.1-korean:8b")

[TOOL/OLLAMA] ollama 명령 : run 옵션을 사용해 benedict/linkbricks-llama3.1-korean:8b 라마 3.1 한글 모델 실행하기

■ ollama 명령의 run 옵션을 사용해 benedict/linkbricks-llama3.1-korean:8b 라마 3.1 한글 모델을 실행하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 아래 스크립트를 실행한다.

[TOOL/OLLAMA] ollama 명령 : serve 옵션을 사용해 서버 실행하기

■ ollama 명령의 serve 옵션을 사용해 서버를 실행하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 아래 스크립트를 실행한다. ▶ 실행 명령


SET OLLAMA_HOST=127.0.0.1:8080

ollama serve
2024/08/29 22:28:51 routes.go:1125: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_HOST:http://127.0.0.1:8080 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_LLM_LIBRARY: OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:C:\\Users\\king\\.ollama\\models OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://*] OLLAMA_RUNNERS_DIR:C:\\Users\\king\\AppData\\Local\\Programs\\Ollama\\lib\\ollama\\runners OLLAMA_SCHED_SPREAD:false OLLAMA_TMPDIR: ROCR_VISIBLE_DEVICES:]"
time=2024-08-29T22:28:51.163+09:00 level=INFO source=images.go:753 msg="total blobs: 11"
time=2024-08-29T22:28:51.163+09:00 level=INFO source=images.go:760 msg="total unused blobs removed: 0"
time=2024-08-29T22:28:51.163+09:00 level=INFO source=routes.go:1172 msg="Listening on 127.0.0.1:8080 (version 0.3.8)"
time=2024-08-29T22:28:51.164+09:00 level=INFO source=payload.go:44 msg="Dynamic LLM libraries [cuda_v12 rocm_v6.1 cpu cpu_avx cpu_avx2 cuda_v11]"
time=2024-08-29T22:28:51.164+09:00 level=INFO source=gpu.go:200 msg="looking for compatible GPUs"
time=2024-08-29T22:28:51.332+09:00 level=INFO source=amd_windows.go:91 msg="unsupported Radeon iGPU detected skipping" id=0 name="AMD Radeon(TM) Graphics" gfx=gfx1036
time=2024-08-29T22:28:51.333+09:00 level=INFO source=types.go:107 msg="inference compute" id=GPU-ff1a7c25-a377-71b9-d670-2406e18d4593 library=cuda variant=v12 compute=8.9 driver=12.2 name="NVIDIA GeForce RTX 4070 Ti" total="12.0 GiB" available="3.5 GiB"

SET OLLAMA_HOST=127.0.0.1:8080

ollama serve

2024/08/29 22:28:51 routes.go:1125: INFO server config env="map[CUDA_VISIBLE_DEVICES: GPU_DEVICE_ORDINAL: HIP_VISIBLE_DEVICES: HSA_OVERRIDE_GFX_VERSION: OLLAMA_DEBUG:false OLLAMA_FLASH_ATTENTION:false OLLAMA_HOST:http://127.0.0.1:8080 OLLAMA_INTEL_GPU:false OLLAMA_KEEP_ALIVE:5m0s OLLAMA_LLM_LIBRARY: OLLAMA_MAX_LOADED_MODELS:0 OLLAMA_MAX_QUEUE:512 OLLAMA_MODELS:C:\\Users\\king\\.ollama\\models OLLAMA_NOHISTORY:false OLLAMA_NOPRUNE:false OLLAMA_NUM_PARALLEL:0 OLLAMA_ORIGINS:[http://localhost https://localhost http://localhost:* https://localhost:* http://127.0.0.1 https://127.0.0.1 http://127.0.0.1:* https://127.0.0.1:* http://0.0.0.0 https://0.0.0.0 http://0.0.0.0:* https://0.0.0.0:* app://* file://* tauri://*] OLLAMA_RUNNERS_DIR:C:\\Users\\king\\AppData\\Local\\Programs\\Ollama\\lib\\ollama\\runners OLLAMA_SCHED_SPREAD:false OLLAMA_TMPDIR: ROCR_VISIBLE_DEVICES:]"

time=2024-08-29T22:28:51.163+09:00 level=INFO source=images.go:753 msg="total blobs: 11"

time=2024-08-29T22:28:51.163+09:00 level=INFO source=images.go:760 msg="total unused blobs removed: 0"

time=2024-08-29T22:28:51.163+09:00 level=INFO source=routes.go:1172 msg="Listening on 127.0.0.1:8080 (version 0.3.8)"

time=2024-08-29T22:28:51.164+09:00 level=INFO source=payload.go:44 msg="Dynamic LLM libraries [cuda_v12 rocm_v6.1 cpu cpu_avx cpu_avx2 cuda_v11]"

time=2024-08-29T22:28:51.164+09:00 level=INFO source=gpu.go:200 msg="looking for compatible GPUs"

time=2024-08-29T22:28:51.332+09:00 level=INFO source=amd_windows.go:91 msg="unsupported Radeon iGPU detected skipping" id=0 name="AMD Radeon(TM) Graphics" gfx=gfx1036

time=2024-08-29T22:28:51.333+09:00 level=INFO source=types.go:107 msg="inference compute" id=GPU-ff1a7c25-a377-71b9-d670-2406e18d4593 library=cuda variant=v12 compute=8.9 driver=12.2 name="NVIDIA GeForce RTX 4070 Ti" total="12.0 GiB" available="3.5 GiB"

[TOOL/OLLAMA] ollama 명령 : ps 옵션을 사용해 실행중인 모델 조회하기

■ ollama 명령의 ps 옵션을 사용해 실행중인 모델을 조회하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 아래 스크립트를 실행한다. ▶ 실행 명령

[TOOL/OLLAMA] ollama 명령 : run 옵션을 사용해 모델 실행하기

■ ollama 명령의 run 옵션을 사용해 모델을 실행하는 방법을 보여준다. 1. 명령 프롬프트를 실행한다. 2. 아래 스크립트를 실행한다. ▶ 실행 명령


ollama run llama3

ollama run llama3

[태그:] OLLAMA

[C#/COMMON/.NET6] 엑셀에서 OLLAMA 질문 사용자 함수 추가하기

[PYTHON/REQUESTS] Session 클래스 : OLLAMA 서버 통신하기

[C#/COMMON] HttpClient 클래스 : OLLAMA 서버 통신하기

[PYTHON/LANGCHAIN] 모델에서 임시 도구 호출 기능 추가하기 4

[PYTHON/LANGCHAIN] 모델에서 임시 도구 호출 기능 추가하기 3

[PYTHON/LANGCHAIN] 모델에서 임시 도구 호출 기능 추가하기 2

[PYTHON/LANGCHAIN] 모델에서 임시 도구 호출 기능 추가하기 1

[PYTHON/LANGCHAIN] Ollama 클래스 : 텍스트 생성하기

[PYTHON/LANGCHAIN] ChatOllama 클래스 : 사용자 질문 분류하기

[C#/COMMON/.NET8] HttpClient 클래스 : Ollama 연동 파이썬 LLM 서버 통신하기

[PYTHON/LANGCHAIN] 라마 3.1 한국어 모델 채팅 서버/클라이언트 프로그램 만들기 2

[PYTHON/LANGCHAIN] 라마 3.1 한국어 모델 채팅 서버/클라이언트 프로그램 만들기 1

[PYTHON/LANGCHAIN] ChatOllama 클래스 : ollama에서 gemma2 모델 챗봇 만들기

[PYTHON/LANGCHAIN] ChatOllama 클래스 : ollama에서 gemma2 모델 채팅 프로그램 만들기

[TOOL/OLLAMA] ollama 명령 : create 옵션을 사용해 ggml-model-q4_k_m.gguf 파일에서 모델 생성하기

[PYTHON/LANGCHAIN] AgentExecutor 클래스 : 크롬 브라우저 웹 주소를 구하거나 윈도우즈 메모장 실행하기

[PYTHON/LANGCHAIN] ConversationBufferMemory 클래스 : 생성자를 사용해 객체 만들기

[PYTHON/LANGCHAIN] ChatOllama 클래스 : 생성자를 사용해 객체 만들기

[TOOL/OLLAMA] ollama 명령 : run 옵션을 사용해 benedict/linkbricks-llama3.1-korean:8b 라마 3.1 한글 모델 실행하기

[TOOL/OLLAMA] ollama 명령 : serve 옵션을 사용해 서버 실행하기

[TOOL/OLLAMA] ollama 명령 : ps 옵션을 사용해 실행중인 모델 조회하기

[TOOL/OLLAMA] ollama 명령 : run 옵션을 사용해 모델 실행하기

[TOOL/OLLAMA] ollama 명령 : show 옵션을 사용해 모델 정보 조회하기

[TOOL/OLLAMA] ollama 명령 : pull 옵션을 사용해 모델 다운로드 받기

[TOOL/OLLAMA] ollama 명령 : list 옵션을 사용해 모델 리스트 조회하기