MaxKB + Ollama + DeepSeek本地部署

本地部署AI大模型

通过ollama部署本地AI大模型，Ollama是管理和部署大模型的一个工具，它可以帮助我们在本地更加方便并快速的部署和使用各种大模型

下面是我通过虚拟机CentOS7.9.2009版本进行演示

当然，如果你的电脑配置较低，可以使用公网的API接口，点击下面链接，不过要先安装MaxKB，下面有MaxKB的安装教程

关于MaxKB对接硅基流动-CSDN博客

1、安装和配置Ollama

1.1 下载Ollama安装包

Ollama同时支持macOS、Linux和Windows操作系统

官网：Download Ollama on Linux

教程：快速入门 - Ollama 中文文档

Git官网：ollama/docs/linux.md at main · ollama/ollama · GitHub

1.1.1 Linux操作系统命令行安装

curl -fsSL https://ollama.com/install.sh | sh
​
# 如果安装不成功，可以开启VPN代理
export https_proxy=http://宿主机IP:port

1.1.2 Linux操作系统离线安装

# 安装前要注意查看自己的CPU是什么架构的
uname -m
​
# 使用curl下载
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
​
# 如果curl下载不了，可能要先VPN，可以通过宿主机的VPN实现
export https_proxy=http://宿主机的IP:port
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz
​
# 直接使用借助宿主机进行下载安装包，这是amd架构即x86
https://ollama.com/download/ollama-linux-amd64.tgz
​
# arm架构
https://ollama.com/download/ollama-linux-arm64.tgz
​
# 解压
sudo tar -C /usr/local/ollama -xzf ollama-linux-amd64.tgz

1.2 将ollama服务使用systemctl进行管理

cat << EOF | tee /usr/lib/systemd/system/ollama.service
​
[Unit]
Description=Ollama Service
After=network.target
​
[Service]
Environment=OLLAMA_HOST=0.0.0.0:11434
ExecStart=/usr/local/ollama/bin/ollama serve
Restart=on-failure
User=root
Group=root
​
[Install]
WantedBy=multi-user.target
​
EOF
​
# 使用systemctl管理ollama服务
systemctl enable --now ollama
systemctl status ollama

1.3 Ollama语法

可以从官网教程看到一些Ollama的用法，使用浏览器输入http://ip:11434，可以从浏览器中看到Ollama is running字样

• ollama server：启动ollama服务，当然我现在已经使用systemctl管理

• ollama list：查看下载的大模型

• ollama pull llama3.2：下载AI大模型llama3.2

• ollama rull llama3.2：下载AI大模型并运行

• ollama rm llama3.2：删除大模型

• ollama stop llama3.2：停止llama大模型

• ollama ps：列出当前已加载的模型

• /exit or /bye：退出模型对话框

配置大模型下载的路径：export OLLAMA_MODELS=/models

2、安装和配置UI界面

我这里使用docker直接去安装图形化UI界面，我已两个流行的AI web界面为例

2.1 MaxKB

基于大语言模型和RAG的知识库问答系统，操作系统支持：Ubuntu 22.04 / CentOS 7.6 64 位系统，所以要其他操作系统要借助Docker进行安装

官网：MaxKB - 基于大模型和 RAG 的知识库问答系统 - 官网

# Linux 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb
​
# Windows 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb

这个过程需要的时间相对较长，需要耐心等待

访问

• 通过浏览器http://ip:8080进行访问

• 用户名：admin，密码：MaxKB@123..

2.2 Open Web UI

官网：GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

# 如果ollama部署到当前虚拟机中
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
​
# 如果ollama部署到其他要制定ollama网址
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

3、使其可以在公网上访问

要实现该功能，可以借助内网穿透工具，可以使用ngrok工具，当然也可以使用frp（部署可能比较复杂，需要借助有公网IP的服务器），可以在我笔记中的notepad/linux_file/config_language/frp_configure.md文件中看到