本地部署【DeepSeek-R1】，搭建自己的【知识库】

使用deepseek+ollama+anythingLLM搭建简易知识库

1. ollama
2. deepseek
3. chatbox
4. anythingLLM

一、 本地部署 Ollama

1. 简要说明

• ollama可以看成是大模型的宿主平台
• 管理用户的输入和大模型的输出
• 注：如果运行不起来，可能跟硬件配置有关

2. 基本操作

• ollama：
  • 下载&安装：https://ollama.com/
  • 验证是否安装成功： 命令行下输入 ollama -v
    
• deepseek
  • 下载：命令行下输入 ollama run deepseek-r1:1.5b （从ollama官网复制而来）
  • 直接就可以与大模型对话了
    
• chatbox（可选）
  • 网址：https://web.chatboxai.app/
  • 界面化工具使用大模型，需进行设置才能对话
  • 以网页版为例
    • 网页中找到设置–模型–Ollama API–保存
    • 设置【用户环境变量】： OLLAMA_HOST 0.0.0.0 && OLLAMA_ORIGINS *
    • 重启ollama
  • 然后就可以进行对话了
    
• WebUI
  • 不借助网页工具，弄一个可操作的界面
  • 安装： pip install open-webui
  • 安装完成后输入open-webui serve
  • 浏览器打开： http://localhost:8080/

二、 搭建知识库 anythingLLM

1. 简要说明

• 在外面构建知识库，然后使用大模型来读写知识库，比较方便
• 此时就要用到anythingLLM

2. 基本操作

• 下载&安装：https://anythingllm.com/
• 打开anythingLLM，选择ollama，选择大模型比如deepseek
• 建立工作区名字，上传私域文件
• 然后就可以进行对话，响应中就会带有私域文件的信息了

三、 实践

• 熟练通过api与ollama交互
• 待续…

参考

1. https://www.bilibili.com/video/BV1QyFoeuE3e/?spm_id_from=333.1387.homepage.video_card.click
2. https://www.bilibili.com/video/BV1QyFoeuE3e/?spm_id_from=333.1387.upload.video_card.click
3. https://blog.csdn.net/m0_65555479/article/details/145389847