ollama运行qwen2.5-coder:7b

1.linux安装

curl -fsSL https://ollama.com/install.sh | sh

ollama serve    # 启动ollama
ollama create    # 从模型文件创建模型
ollama show        # 显示模型信息
ollama run        # 运行模型，会先自动下载模型
ollama pull        # 从注册仓库中拉取模型
ollama push        # 将模型推送到注册仓库
ollama list        # 列出已下载模型
ollama ps        # 列出正在运行的模型
ollama cp        # 复制模型
ollama rm        # 删除模型

可以修改配置文件更改：

OLLAMA_HOST       The host:port to bind to (default "127.0.0.1:11434")
OLLAMA_ORIGINS    A comma separated list of allowed origins.
OLLAMA_MODELS     The path to the models directory (default is "~/.ollama/models"

2.下载模型并部署

ollama run qwen2.5-coder:7b

支持多个模型推理，有切换的时间，模型会重新载入到显存。

3.测试

curl http://localhost: