privateGPT是一个开源项目,可以本地私有化部署,在不联网的情况下导入公司或个人的私有文档,然后像使用ChatGPT一样以自然语言的方式向文档提出问题。
不需要互联网连接,利用LLMs的强大功能,向您的文档提出问题。100%私密,任何时候都不会有数据离开您的执行环境。您可以在没有互联网连接的情况下导入文档并提出问题!使用LangChain、GPT4All、LlamaCpp、Chroma和SentenceTransformers构建。
chatgpt最新使用链接传送门:https://pan.baidu.com/s/1TsZ78aMcbYXEY9IMXW7QDQ?pwd=pn1t
提取码:pn1t
txt、CSV、word、html、mardown、PDF、PPT等。
https://github.com/imartinez/privateGPT
此文为作者踩过多个坑后总结出来的,照着做应该能够顺利安装成功。文章较长,建议先收藏再阅读。教程中需要的资源可使用百度网盘一站式下载,关注公众号"AI技术实战",回复"privateGPT"获取网盘链接,部署过程有任何问题也可在公众号私信作者。
windows10/windows11,至少20G可用磁盘空间。
下载地址:https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin
这个文件有4g多,等待下载的过程中可以先执行下面的操作。
2.1 安装Visual Studio 2022
下载链接:Visual Studio 2022 | 免费下载
下载后点击安装
注意:选中以下箭头指的地方
点击右下角的“安装”,安装过程会比较慢,可先执行下面的操作。
2.2 安装python
在Microsoft Store中搜索并安装python3.10及以上版本,作者用的是3.10。
2.3 安装git
下载地址:https://git-scm.com/
2.4 安装GCC的Windows版本MinGW
下载地址:MinGW - Minimalist GNU for Windows
下载后双击安装,需要等待一会。
等待完成之后点击Close按钮关闭。
在D盘根目录新建aiworkspace目录,进入此目录,执行以下命令(也可根据自己情况新建目录,建议和作者保持一致,方便对比执行过程)。
git clone [email protected]:imartinez/privateGPT.git
以管理员身份运行cmd(后续使用cmd都为管理员身份运行)
进入上一步下载好的privateGPT目录下,执行以下命令:
pip3 install -r requirements.txt
如图所示,需要等待较长时间:
作者运行的时候出现以下报错,按照提示更新了一下pip,再重新运行上面的命令:
依赖安装成功:
5.1 导入模型
在privateGPT目录下新建models目录,将第1步中的下载好的模型文件放在这个目录下:
5.2 导入文档
privateGPT目录下的source_documents是放置源文档的目录,我们可以将自己的想要问答的文档放在这里。源码下载好之后source_documents目录中会有一个示例文档state_of_the_union.txt,我们把它删掉,将网盘中下载到的Bryant's info.txt复制到这里。
文件内容:
There is a man named Bryant who is Chinese. He was born in 1991 and works as a Java developer. He graduated in 2013 and worked at "Dev AI" for three years before moving to "Test AI" where he worked for another two years. In his free time, he enjoys watching movies, playing basketball, swimming, running, and hiking.
5.3 修改.env
将example.env复制一份,改名为.env。
5.4 索引文档
cmd进入privateGPT目录,执行以下命令,让privateGPT索引我们的文档:
python ingest.py
第一次执行会下载一些东西,以后再执行速度就比较快了。
以下是索引完成的截图:
索引完成之后,privateGPT中会自动生成db目录,这个目录就是privateGPT的数据库目录,privateGPT会使用这个目录中的数据,source_documents中的文档就可以删掉了。
如果想要修改源文档的内容,可以先修改source_documents目录下的文件内容,然后删除db文件夹,重新执行上面的命令建立数据库。
终于到了使用环节了,现在我们可以和privateGPT聊天了,使用自然语言问它问题,在privateGPT目录下执行以下命令:
python privateGPT.py
当出现Enter a query:的时候,就可以在命令行中输入问题了,如果你使用我上面给的文档,可以直接复制以下问题测试效果:
hello, you play my assitant, I'm gonna ask you some questions and you should reply briefly, if you don't know the answer, just say you don't know, do you understant?
What's his job ?
写一个简单的web应用,调用python脚本即可实现一个简单的企业内部知识库系统