Ollama部署大模型并安装WebUi

Ollama用于在本地运行和部署大型语言模型（LLMs）的工具，可以非常方便的部署本地大模型

安装

Linux

curl -fsSL https://ollama.com/install.sh | sh

我是ubuntu系统安装，其他系统可以看项目的开源地址有写

GitHub - ollama/ollama: Get up and running with Llama 3, Mistral, Gemma, and other large language models.

docker安装

一键脚本

#!/bin/bash
#################################################################################
# 功能：自动部署Ollama（Docker方式，GPU） 
# 说明：如果已安装了Docker，请注释掉 install_docker，避免重复安装                                                                 
#################################################################################

info(){
  echo -e "[34m 【`date '+%Y-%m-%d %H:%M:%S'`】[0m" "[35m$1[0m "
}


install_docker(){
#!/bin/bash
info "安装依赖..."
yum -y install gcc
yum -y install gcc-c++

##验证gcc版本
gcc -v


info "安装Docker（指定版本：23.0.6）"
wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
##更新yum软件包索引
yum makecache fast

## 安装docker ce cli
# 查看可安装版本：yum list docker-ce --showduplicates | sort -r
yum -y install docker-ce-23.0.6-1.el7 docker-ce-cli-23.