■ LLAMAFILE 서버를 실행하는 방법을 보여준다.
1. CTRL + ALT + T 키를 눌러서 [터미널]을 실행한다.
2. [터미널]에서 아래 명령을 실행한다.
▶ 실행 명령
|
1 2 3 4 |
# 허깅페이스에서 라마파일을 다운로드한다. wget https://huggingface.co/jartine/TinyLlama-1.1B-Chat-v1.0-GGUF/resolve/main/TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile |
2. [터미널]에서 아래 명령을 실행한다.
▶ 실행 명령
|
1 2 3 4 |
# 파일을 실행 가능하게 만든다. 윈도우즈에서는 대신 ".exe"로 끝나도록 파일 이름을 변경한다. chmod +x TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile |
2. [터미널]에서 아래 명령을 실행한다.
▶ 실행 명령
|
1 2 3 4 5 6 7 |
# 모델 서버를 시작한다. 기본적으로 http://localhost:8080에서 수신한다. ./TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile --server --nobrowser # 포트를 9090으로 변경한다. ./TinyLlama-1.1B-Chat-v1.0.Q5_K_M.llamafile --server --nobrowser --port 9090 |