【AI大模型】Ollama 大模型的本地私有化部署

在localhost部署并运行开源大模型，可以试试Ollama。本文使用Ollama部署，并通过API的方式调用大模型。

参考

• 官方网站：ollama.com/

• Github：github.com/ollama/olla…

安装

Ollama支持各个平台：Mac、Windows 和 Linux，下载 然后一键安装Ollama框架

# 安装成功后执行ollama -v命令，查看版本信息，如果可以显示则代表已经安装好
root@master:~# ollama -v
ollama version is 0.1.38
root@master:~# ollama --help

Ollama安装完成后， 一般会自动启动 Ollama 服务，而且会自动设置为开机自启动。在Linux上，查看：systemctl status ollama； 启动：ollama serve，或者 sudo systemctl start ollama。

配置

编辑vim /etc/systemd/system/ollama.service.d/environment.conf文件来对ollama进行配置

默认的配置文件目录：C:\Users\zhtop\AppData\Local\Ollama

[Service]
# 配置远程访问
Environment="OLLAMA_HOST=0.0.0.0:11434"

Ollama命令

ollama serve	# 启动ollama
ollama create	# 从模型文件创建模型
ollama show		# 显示模型信息
ollama run		# 运行模型
ollama pull		# 从注册仓库中拉取模型
ollama push		# 将模型推送到注册仓库
ollama list		# 列出已下载模型
ollama cp		# 复制模型
ollama