■ OpenAI 클래스의 completions 변수를 사용해 파인튜닝 모델로 추론을 실행하는 방법을 보여준다.
▶ main.py
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 |
import os from openai import OpenAI os.environ["OPENAI_API_KEY"] = "<OPENAI_API_KEY>" openAI = OpenAI() completion = openAI.completions.create( model = "ft:davinci-002:personal::9X7I99AM", # 파인튜닝 모델명을 설정한다. prompt = "좋아하는 음식은 무엇인가요?", temperature = 1, max_tokens = 256, top_p = 1, frequency_penalty = 0, presence_penalty = 0 ) print(completion) """ Completion( id = 'cmpl-9X9EI1RzbX4AHOS94DOpBJFzWaFq6', choices = [ CompletionChoice( finish_reason = 'length', index = 0, logprobs = None, text =' \n 그림에 그린 떡입니다! \n 라고 말하고 싶지만 뜻이 맞지 않아 부릅니다. \n 그린 떡! \n 원래 떡이라고 생각했는데 ...... \n 더 큰 떡이라고 했죠! \n 그린 떡인가요! \n 맞습니다! 확실히 맞습니다! \n 두고 놓치지 마세요! \n 라고 말하면 된다고 생각합니다! \n 라고 말하면 된다고 생각하여 두고 놓치지 않으시기 바랍니다! \n 라고 생각합니다! 두고 놓치지 않으시기 바랍니다! \n 랑 떡? \n 둥 쥐 떡! \n 둥쥐떡으로 맞습니다! \n 둥쥐떡으로 맞습니다! \n 올림' ) ], created = 1717687330, model = 'ft:davinci-002:personal::9X7I99AM', object = 'text_completion', system_fingerprint = None, usage = CompletionUsage(completion_tokens = 254, prompt_tokens = 17, total_tokens = 271) ) """ |
▶ requirements.txt
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
annotated-types==0.7.0 anyio==4.4.0 certifi==2024.6.2 distro==1.9.0 exceptiongroup==1.2.1 h11==0.14.0 httpcore==1.0.5 httpx==0.27.0 idna==3.7 openai==1.31.1 pydantic==2.7.3 pydantic_core==2.18.4 sniffio==1.3.1 tqdm==4.66.4 typing_extensions==4.12.1 |