快速入门,ChatGPT怎么建立私有知识库?

privateGPT是一个开源项目,可以本地私有化部署,在不联网的情况下导入公司或个人的私有文档,然后像使用ChatGPT一样以自然语言的方式向文档提出问题。

不需要互联网连接,利用LLMs的强大功能,向您的文档提出问题。100%私密,任何时候都不会有数据离开您的执行环境。您可以在没有互联网连接的情况下导入文档并提出问题!使用LangChain、GPT4All、LlamaCpp、Chroma和SentenceTransformers构建。

chatgpt最新使用链接传送门:https://pan.baidu.com/s/1TsZ78aMcbYXEY9IMXW7QDQ?pwd=pn1t 
提取码:pn1t 

privateGPT支持哪些文档?

txt、CSV、word、html、mardown、PDF、PPT等。

privateGPT项目地址

https://github.com/imartinez/privateGPT

此文为作者踩过多个坑后总结出来的,照着做应该能够顺利安装成功。文章较长,建议先收藏再阅读。教程中需要的资源可使用百度网盘一站式下载,关注公众号"AI技术实战",回复"privateGPT"获取网盘链接,部署过程有任何问题也可在公众号私信作者。

安装环境

windows10/windows11,至少20G可用磁盘空间。

1. 下载模型

下载地址:https://gpt4all.io/models/ggml-gpt4all-j-v1.3-groovy.bin

这个文件有4g多,等待下载的过程中可以先执行下面的操作。

2. 安装软件

2.1 安装Visual Studio 2022

下载链接:Visual Studio 2022 | 免费下载

快速入门,ChatGPT怎么建立私有知识库?_第1张图片

下载后点击安装

快速入门,ChatGPT怎么建立私有知识库?_第2张图片

注意:选中以下箭头指的地方

快速入门,ChatGPT怎么建立私有知识库?_第3张图片

快速入门,ChatGPT怎么建立私有知识库?_第4张图片

点击右下角的“安装”,安装过程会比较慢,可先执行下面的操作。

快速入门,ChatGPT怎么建立私有知识库?_第5张图片

2.2 安装python

在Microsoft Store中搜索并安装python3.10及以上版本,作者用的是3.10。

快速入门,ChatGPT怎么建立私有知识库?_第6张图片

2.3 安装git

下载地址:https://git-scm.com/

快速入门,ChatGPT怎么建立私有知识库?_第7张图片


2.4 安装GCC的Windows版本MinGW
下载地址:MinGW - Minimalist GNU for Windows

快速入门,ChatGPT怎么建立私有知识库?_第8张图片

下载后双击安装,需要等待一会。

快速入门,ChatGPT怎么建立私有知识库?_第9张图片

快速入门,ChatGPT怎么建立私有知识库?_第10张图片

快速入门,ChatGPT怎么建立私有知识库?_第11张图片

等待完成之后点击Close按钮关闭。

快速入门,ChatGPT怎么建立私有知识库?_第12张图片

3. 下载privateGPT源码

在D盘根目录新建aiworkspace目录,进入此目录,执行以下命令(也可根据自己情况新建目录,建议和作者保持一致,方便对比执行过程)。

git clone [email protected]:imartinez/privateGPT.git

快速入门,ChatGPT怎么建立私有知识库?_第13张图片

4. 安装项目依赖

以管理员身份运行cmd(后续使用cmd都为管理员身份运行)

快速入门,ChatGPT怎么建立私有知识库?_第14张图片

进入上一步下载好的privateGPT目录下,执行以下命令:

pip3 install -r requirements.txt

如图所示,需要等待较长时间:

快速入门,ChatGPT怎么建立私有知识库?_第15张图片

作者运行的时候出现以下报错,按照提示更新了一下pip,再重新运行上面的命令:

快速入门,ChatGPT怎么建立私有知识库?_第16张图片

依赖安装成功:

快速入门,ChatGPT怎么建立私有知识库?_第17张图片

5.导入模型和文档

5.1 导入模型

在privateGPT目录下新建models目录,将第1步中的下载好的模型文件放在这个目录下:

快速入门,ChatGPT怎么建立私有知识库?_第18张图片

​5.2 导入文档

privateGPT目录下的source_documents是放置源文档的目录,我们可以将自己的想要问答的文档放在这里。源码下载好之后source_documents目录中会有一个示例文档state_of_the_union.txt,我们把它删掉,将网盘中下载到的Bryant's info.txt复制到这里。

快速入门,ChatGPT怎么建立私有知识库?_第19张图片

文件内容:

There is a man named Bryant who is Chinese. He was born in 1991 and works as a Java developer. He graduated in 2013 and worked at "Dev AI" for three years before moving to "Test AI" where he worked for another two years. In his free time, he enjoys watching movies, playing basketball, swimming, running, and hiking.

5.3 修改.env

将example.env复制一份,改名为.env。

快速入门,ChatGPT怎么建立私有知识库?_第20张图片

5.4 索引文档

cmd进入privateGPT目录,执行以下命令,让privateGPT索引我们的文档:

python ingest.py

第一次执行会下载一些东西,以后再执行速度就比较快了。

快速入门,ChatGPT怎么建立私有知识库?_第21张图片

以下是索引完成的截图:

快速入门,ChatGPT怎么建立私有知识库?_第22张图片

索引完成之后,privateGPT中会自动生成db目录,这个目录就是privateGPT的数据库目录,privateGPT会使用这个目录中的数据,source_documents中的文档就可以删掉了。

快速入门,ChatGPT怎么建立私有知识库?_第23张图片

如果想要修改源文档的内容,可以先修改source_documents目录下的文件内容,然后删除db文件夹,重新执行上面的命令建立数据库。

6. 使用GPT问答

终于到了使用环节了,现在我们可以和privateGPT聊天了,使用自然语言问它问题,在privateGPT目录下执行以下命令:

python privateGPT.py

快速入门,ChatGPT怎么建立私有知识库?_第24张图片

当出现Enter a query:的时候,就可以在命令行中输入问题了,如果你使用我上面给的文档,可以直接复制以下问题测试效果:

hello, you play my assitant, I'm gonna ask you some questions and you should reply briefly, if you don't know the answer, just say you don't know, do you understant?

快速入门,ChatGPT怎么建立私有知识库?_第25张图片

What's his job ?

快速入门,ChatGPT怎么建立私有知识库?_第26张图片

写一个简单的web应用,调用python脚本即可实现一个简单的企业内部知识库系统

你可能感兴趣的:(chatgpt)