ollama에 다른 모델 올리기

 

1. huggingface에서 gguf파일을 다운받는다.

2. Modelfile생성

3. 해당 path 에서 ollama create {name} -f Modelfile 명령어 입력(ollama github 참고)

4. ollama list를 통해서 올라가있는지 확인

5. ollama run {name} 실행

 

webui에도 자동으로 등록된다.

 

 

그런데 여기서 문제는 GGUF파일만 올리는 방법이라는것이다.

 

다음에는 일반 모델들을 어떻게 GGUF 포맷으로 변경하는지 알아보자.