MiniGPT4系列之二推理篇命令行方式:在RTX-3090 Ubuntu服务器推理详解

MiniGPT4系列之一部署篇:在RTX-3090 Ubuntu服务器部署步骤详解_seaside2003的博客-CSDN博客

MiniGPT4系列之二推理篇命令行方式:在RTX-3090 Ubuntu服务器推理详解_seaside2003的博客-CSDN博客

MiniGPT4系列之三模型推理 (Web UI):在RTX-3090 Ubuntu服务器推理_seaside2003的博客-CSDN博客

本文参考以下知乎帖子后半部分:

手搓具有GPT-4 90%能力的开源大语言模型FastChat - 知乎

FastChat安装

有两种方法:

pip方式安装:

pip3 install fschat

源码安装:

git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip  # enable PEP 660 support
pip3 install -e .

 开启服务

python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna

此时可能会出现报错,ModuleNotFoundError: No module named 'rich',因为上面都没有安装rich这个包

MiniGPT4系列之二推理篇命令行方式:在RTX-3090 Ubuntu服务器推理详解_第1张图片

但直接pip install rich,我试了不行,执行以下命令成功:

python -m pip install rich

MiniGPT4系列之二推理篇命令行方式:在RTX-3090 Ubuntu服务器推理详解_第2张图片

这个命令参照:ModuleNotFoundError: No module named 'rich’

\"ModuleNotFoundError: No module named \'rich\'\" 即使我使用 pip 安装答案 - 爱码网

再次执行以下命令,可以看出执行成功:

python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna

你可能感兴趣的:(ubuntu,大模型,MiniGPT4,推理)