langchain-chatchat或者说fastchat启动访问404的问题

虽然很白痴,但是我还是记录一下我遇到的问题。

1.问题

最近想测试看看langchain的本地知识库效果,看到一个很完备的库,就是lanchain-chatchat。但是我启动了项目后进行对话回答是乱码的。
langchain-chatchat或者说fastchat启动访问404的问题_第1张图片
经过我的排查,问题不出在webui层,而是出现在fastchat启动层。
我发现,我访问fastchat的api都会返回404 Not Found
在这里插入图片描述

2.fastchat启动测试

我测试了一下直接用fastchat启动

https://github.com/lm-sys/FastChat

webui版本

中间巴拉巴拉讲了一大堆,其实指令从后面的Serving with Web GUI章节开始

第一步:启动控制器,因为fastchat允许你选择多个模型,比如你配置一个openapi+一个本地chatglm2,所以他有一个控制器作为主控。

python3 -m fastchat.serve.controller

第二步:启动模型运行进程,会自动注册到控制器上。

python3 -m fastchat.serve.model_worker --model-path 模型文件路径

第三步:

python3 -m fastchat.serve.gradio_web_server

命令行版:

上面的worker需要配合api调用才能访问,你也可以先试试明令行对话。

python -m fastchat.serve.cli --model-path S:\knowledge_base\chatglm2_6b\chatglm2-6b

在这里插入图片描述
明明我命令行版是可以启动的,但是用model_worker出现的问题和chatchat里面是一样的,究竟问题出在哪里呢?

windows系统的问题

我仔细研究了一下当时看到的那个大佬的文章

https://zhuanlan.zhihu.com/p/651189680

langchain-chatchat或者说fastchat启动访问404的问题_第2张图片
我发现在环境准备里面有讲到wsl2,看来应该是windows的字符集的问题,需要切换到linux子系统下才能运行。
在根据教程安装好,就可以用了,也就是说fastchat目前不能运行在windows的系统上,还请给位小伙伴注意。

langchain-chatchat或者说fastchat启动访问404的问题_第3张图片
虽然他还是not found
langchain-chatchat或者说fastchat启动访问404的问题_第4张图片

PS

1.ubuntu系统下激活venv环境使用命令

source ./ubuntu_venv/bin/activate

2.windows系统下激活venv环境使用命令

.\venv\Scripts\activate

注意前面差一个source

你可能感兴趣的:(AI,langchain)