■ ollama 명령의 create 옵션을 사용해 모델을 생성하는 방법을 보여준다. (ggml-model-q4_k_m.gguf 파일)
1. 명령 프롬프트를 실행한다.
2. 아래 스크립트를 실행한다.
▶ 실행 명령
|
1 2 3 |
ollama create ggml-model-q4_k_m -f modelfile |
※ ggml-model-q4_k_m : 생성할 모델명
※ modelfile : 모델 생성을 위한 설정 파일명
▶ modelfile 파일
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
FROM ggml-model-q4_k_m.gguf TEMPLATE """{{- if .System }} <|begin_of_text|>system {{ .System }}<|end_of_text|> {{- end }} <|begin_of_text|>user {{ .Prompt }}<|end_of_text|> <|begin_of_text|>assistant """ SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.""" PARAMETER temperature 0 PARAMETER num_ctx 4096 PARAMETER stop <|begin_of_text|> PARAMETER stop <|end_of_text|> PARAMETER stop <|eot_id|> PARAMETER stop <|end_of_text|> |
※ ggml-model-q4_k_m.gguf : ollama용 모델 생성을 위한 소스 파일
※ modelfile 파일과 ggml-model-q4_k_m.gguf 파일을 동일 폴더에 위치시키고 명령을 실행한다.