■ ollama 명령의 create 옵션을 사용해 모델을 생성하는 방법을 보여준다. (ggml-model-q5_K_M.gguf 파일)
1. 명령 프롬프트를 실행한다.
2. 아래 스크립트를 실행한다.
▶ 실행 명령
|
1 2 3 |
ollama create ggml-model-q5_K_M.gguf -f modelfile |
※ ggml-model-q5_K_M.gguf : 생성할 모델명
※ modelfile : 모델 생성을 위한 설정 파일명
▶ modelfile 파일
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
FROM ggml-model-q5_K_M.gguf TEMPLATE """{{- if .System }} <s>{{ .System }}</s> {{- end }} <s>Human: {{ .Prompt }}</s> <s>Assistant: """ SYSTEM """A chat between a curious user and an artificial intelligence assistant. The assistant gives helpful, detailed, and polite answers to the user's questions.""" PARAMETER stop <s> PARAMETER stop </s> |
※ ggml-model-q5_K_M.gguf : ollama용 모델 생성을 위한 소스 파일
※ modelfile 파일과 ggml-model-q5_K_M.gguf 파일을 동일 폴더에 위치시키고 명령을 실행한다.