ollama运行huggingface的gguf模型（mac）

• 找到你本地的 Ollama 模型目录，默认位置：

  • MacOS/Linux：~/.ollama/models

  • Windows：%USERPROFILE%\.ollama\models

• 把你的 .gguf 文件（比如 qwen2.5-3b-chat-1022-r2.q4_K_M.gguf）放进去。

1. 新建一个工作目录

mkdir -p ~/.ollama/models/qwen2.5-instruct cd ~/.ollama/models/qwen2.5-instruct

2. 把你的 .gguf 文件复制过去

cp Qwen2.5-3B-Instruct-q5_k_m.gguf ./

3. 创建 Modelfile

nano Modelfile

填入下面的内容：

FROM ./Qwen2.5-3B-Instruct-q5_k_m.gguf 
PARAMETER temperature 0.7 
SYSTEM "You are a helpful AI assistant."

（注意：FROM 后面是 ./你的.gguf文件名）

4. 创建 Ollama 模型

ollama create qwen2.5-instruct -f Modelfile

这样你就新建了一个模型，名字叫 qwen2.5-instruct

5. 运行模型！

ollama run qwen2.5-instruct

成功进入对话！

步骤	命令
新建目录	mkdir -p ~/ollama_models/qwen2.5-instruct
复制文件	cp /Users/shrek/.ollama/models/Qwen2.5-3B-Instruct-q5_k_m.gguf ./
创建 Modelfile	nano Modelfile 写内容
注册模型	ollama create qwen2.5-instruct -f Modelfile
运行模型	ollama run qwen2.5-instruct