Langchain-chatchat(开源项目基于知识库的问答)

本文章基于Autodl服务器部署的开源项目(可以去租一个16G或24G的服务器)

这里是用镜像源里chatglm2-6b的模型,需要12.5G的显存(如果想要更长的上下文可以下载charglm2-6b-32k这个模型推理需要20G显存)

一共有三种对话模式

1.基于LLM的对话

2.基于本地知识库的回答

3.基于搜索引擎的回答

这里是一个实现demo

Langchain-chatchat(开源项目基于知识库的问答)_第1张图片

这里是用docker直接部署CodeWithGPU | 能复现才是好算法

里面的ssh对于新手可能不太好理解他需要你在本地cmd里创建相对应的接口

ssh -CNg -L 6006:127.0.0.1:6006 [email protected] -p 42151

上面的命令是将6006端口映射成127.0.0.1:6006这样的本地demo,他@后面的ip需要换成你建的服务器的ip,-p后的端口号换成你自己服务器的端口

这里介绍一下chatglm2-6b

2048的上下文长度

采用旋转位置编码,RMSNorm归一化,激活函数为GeGLu

它有28层transform,每层transform里有32个头,embeding是4096维度进行编码

项目地址:https://github.com/chatchat-space/Langchain-Chatchat/tree/master

你可能感兴趣的:(langchain)