【AI】在Windows10下部署本地LLM RAG服务

【背景】

上一篇介绍了如何用Ubuntu命令行部署ollama LLM+RAG服务。部署后等于拥有了基于内网的AI Saas服务，其它内网用户可以通过默认的网址访问Playground对AI进行问答。

【概念】

RAG：通过词向量技术，将文件内容向量化后，通过语言模型以自然交流的形式得到文本相关的内容。可以形容为与文件库或知识库对话的系统。
RAG的后台向量库并不需要对LLM产生影响，LLM是人与向量库（知识库）之间的交流媒介。因此知识库的内容可以随时增减，而不用经历高成本的finetube过程。

【为什么要再写一篇Win10下的部署方法】

实践下来发现，win10虽然可以搞Ubuntu虚拟子系统来以Linux的方式部署ollama框架的ai服务，但是还是存在curl命令下载慢，经常timeout和其它环境问题。
直接在Win10用CMD进行部署则可以成功规避大量此类问题。

【部署方法】

1. 首先，直接ollama官网下载win版本的安装包，发现比起痛苦的curl来简直神速了。ollama官网
2. 下载后无脑下一步安装。
3. 安装完成后，管理员权限打开CMD