手把手教学-本地部署minigpt-4

虽然最新版本的minigpt-4需要的显存已经大大减少，但依旧至少需要12GB的显存，我所使用的是3090ti,可以部署，以下就介绍如何在Linux系统下本地部署minigpt-4

minigpt-4本地部署的官方教程请见minigpt-4，本教程也是基于官方教程进行修改整理

环境搭建

第一步：选择合适的地址克隆代码

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

第二步：在minigpt4的conda环境下下载一个cuda
由于environment.yml中pytorch版本是1.12.1，所以这可以下载一个11.6的cuda版本（你的显卡支持最高版本的cuda可以通过命令nvidia-smi查看）
 

conda install cudatoolkit=11.6

然后下载过后通过以下命令查看cuda是否可以使用
 

python
import torch
print(torch.version.cuda) # 查看是否有cuda
print(torch.cuda.is_available()) # 打印出true即可

 第三步：准备预训练Vicuna权重
这里需要准备两个权重文件，然后合并。第一个权重文件Vicuna增量文件，我选择的是7b的v1.1,最好就选择v1.1，这样后面不会报错。

git lfs install
git clone https://huggingface.co/lmsys/vicuna-13b-delta-v0  # more powerful, need at least 24G gpu memory
# or
git clone https://huggingface.co/lmsys/vicuna-7b-delta-v0  # smaller, need 12G gpu memory #
# or
git clone https://huggingface.co/lmsys/vicuna-7b-delta-v1.1  # smaller, need 12G gpu memory #我选择的是v1.1,这里是一个坑，官方提供的是v0，但是大家需要选择1.1后面才不会报tensor不匹配的错误

第二个原始权重文件，一般需要填写表格向官方申请，似乎此路不通，可以从这个路径获得。 

原始权重文件，下载里面的全部文件到上面代码克隆处就好。
第四步：权重合并（把上面两个权重文件合并成一个权重文件夹）

pip install git+https://github.com/lm-sys/[email protected]
python -m fastchat.model.apply_delta --base 原始权重文件夹路径  --target 目标文件夹权重路径（合并的权重存放处）  --delta 增量权重文件夹路径

把权重合并好之后，在配置文件minigpt4.yaml中model下添加 llama_model: "目标文件夹路径"
第五步：下载预训练权重（在这下面链接找到Checkpoint Aligned with Vicuna 7B下载）

预训练权重下载地址

第六步：运行demo(运行会得到一个进入demo网页的地址)

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml  --gpu-id 0

over!