autodl一键安装Langchain-Chatchat

之前5月份写过用autodl镜像一键安装langchain-ChatGLM，过了5个月，原来开发团队已经升级好几个版本，支持国内外各种基座模型，特别强调了国产的通义千问。模型的服务接口框架也变了，总之新功能很多，我抽时间安装了一下，记录一下过程。防止大家踩坑。

一、创建服务器

还是登录autodl申请实例，最近autodl加了好多4090显卡，而且涨价了，以前便宜的A5000很少了。

因为面对的是小白或者只想试用体验的用户，就不从基本框架安装了，如果想用在生产环境，建议从头安装，官网有文档：

https://github.com/chatchat-space/Langchain-Chatchat/blob/master/README.md#%E5%BC%80%E5%8F%91%E9%83%A8%E7%BD%B2

这里创建的时候选择最新的社区镜像，是2023年10月4日，最新的模型！

点击创建以后，等1分钟左右，下图红框里出现内容的时候才算创建成功

这里说一下，autodl最近修改的外网访问限制，有些地区的服务器必须企业认证才能外网访问，其他地区也不能通过自定义服务给的外网链接直接访问了，需要做ssh隧道访问，比较麻烦

二、登录启动服务

然后就是登录服务器，两种方式，三方软件登录不说了，简单的就是直接用它的jupyterlab：

点击终端

然后在终端执行三条命令，非常简单：

$cd /root/Langchain-Chatchat/

$conda activate /root/pyenv

$python startup.py -a

执行最后一条命令，看到下图的提示，就代表启动成功了！

注意这里加载模型进度条

完成了

到这里，之前，直接用autodl面板里的自定义服务的链接可以直接访问了，但是会出现以下页面：

经过群里的朋友解答，autodl做了限制，必须用ssh隧道方式访问，方法如下：

AutoDL帮助文档

这玩意比较麻烦，相当于把本地端口绑定到服务器端口做映射。而且会暴露账号

注意这个窗口缩小，别关，要不就断了！如果嫌麻烦群里哥们写了个window小工具，有需求自取吧

https://autodl-public.ks3-cn-beijing.ksyuncs.com/tool/AutoDL-SSH-Tools.zip   

使用方式如图：

最后在浏览器里访问：

http://127.0.0.1:6006/

至此，就基本搭建完成，可以体验了

三、体验服务

还是调戏一下模型，注意左边红框选择LL对话，不然默认知识库问答

哈哈，还是熟悉的味道，没办法，底座模型没变，只是外围框架接口改变了

试了一下知识库问答

上传了这篇文章：

结果如下：

准确性和速度非常快，服务器负载也不高，而且对边界控制很好，不知道就不回答

四、结论

好了，就体验到这里，总之性能和准确度很高，值得尝试！