Ollama 本地部署

---

前言

Ollama是一个易于使用的本地大模型运行框架，支持Mac、Windows和WSL2环境。文章介绍了如何在Widows上安装Ollama。

一、Ollama是什么？

Ollama 是一个简明易用的本地大模型运行框架，目前已经有 32 K star。随着围绕着 Ollama 的生态走向前台，更多用户也可以方便地在自己电脑上玩转大模型了，使用 Ollama 本地部署大模型在 mac 上尤其简单

GitHub地址：https://github.com/ollama/ollama

• 能直接运行大模型，与大模型进行对话。
• ollama 命令具有管理大模型的能力。
• 利用 cpu 运行大模型。
• 本地大模型安全可靠。
• 终端直接开始聊天。
• 社区提供了支持 web api 方式访问 WebUI。

二、使用步骤

1.安装 Ollama

Windows

Download

检验是否安装成功

输入 Ollama 命令，正常的得出命令行输出，表示已经安装成功，下面有 ollama 的常用命令：

ollama

Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

2.运行

ollama 模型库

我们可以在 ollama.com/library中搜索已有我们想要的模型库。以下是一些流行的模型：

模型	参数	尺寸	执行下载
Llama 2	7B	3.8GB	ollama run llama2
gemma2	9B	5.4GB	ollama run gemma2
qwen2	7B	4.4GB	ollama run qwen2

运行模型

ollama run qwen2

直接使用 run 命令 + 模型名字就可以运行模型。如果之前没有下载过，那么会自动下载。下载完毕之后可以在终端中直接进行对话 qwen2 模型了。

提问

修改配置（可选）如果有个性化需求，需要修改默认配置：

配置文件在：/etc/systemd/system/ollama.service，采用任意编辑器打开，推荐 vim

1.默认只能本地访问，如果需要局域网内其他机器也能访问（比如嵌入式设别要访问本地电脑），需要对 HOST 进行配置，开启监听任何来源IP

[Service]   Environment="OLLAMA_HOST=0.0.0.0"   

2.如果需要更改模型存放位置，方便管理，需要对 OLLAMA_MODELS 进行配置：

[Service]   Environment="OLLAMA_MODELS=/data/ollama/models"   

3.不同操作系统，模型默认存放在：

macOS: ~/.ollama/models   Linux: /usr/share/ollama/.ollama/models   Windows: C:\Users\xxx\.ollama\models   

4.如果有多张 GPU，可以对 CUDA_VISIBLE_DEVICES 配置，指定运行的 GPU，默认使用多卡。

Environment="CUDA_VISIBLE_DEVICES=0,1"   

5.配置修改后，需要重启 ollama

systemctl daemon-reload   systemctl restart ollama   

注意：上面两条指令通常需要同时使用：只要你修改了任意服务的配置文件（如 .service 文件），都需要运行systemctl daemon-reload使更改生效。

参考

使用Ollama本地部署大模型