minigpt4 部署踩坑记录

1，最近看网上minigpt4很火，下载下来试一下，把碰到问题记录一下。

2 访问 GitHub - Vision-CAIR/MiniGPT-4: MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models

下载代码到 centos服务上。

3，麻烦点主要在于，需要下载一些大模型，根据gitbub上的教程还要进行转化才能转化成最终使用的权重。

我在哔哩上看到有个大哥已经包装好的，就直接下载下来了。

Mini GPT-4 7B 整合包 12G显存可用 支持中文 支持图文对话_哔哩哔哩_bilibili

4，不过这个大哥是windows的需要转化到linux上。

•         修改两处配置文件，这个官网有比较详细的介绍，一个是 小羊驼的模型权重，一个是图片对文本的checkpoint。

 

 

•         启动          python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0         

 

我的会报如下错误: 

Traceback (most recent call last):
  File "/home/buma/codes/MiniGPT-4-main/demo.py", line 60, in 
    model = model_cls.from_config(model_config).to('cuda:{}'.format(args.gpu_id))
  File "/home/buma/codes/MiniGPT-4-main/minigpt4/models/mini_gpt4.py", line 243, in from_config
    model = cls(
  File "/home/buma/codes/MiniGPT-4-main/minigpt4/models/mini_gpt4.py", line 45, in __init__
    self.tokenizer = self.init_tokenizer()
  File "/home/buma/codes/MiniGPT-4-main/minigpt4/models/blip2.py", line 31, in init_tokenizer
    tokenizer = BertTokenizer.from_pretrained("bert-base-uncased")

看了一下是因为用到了 bert-base-uncased 这个模型，而且机器上没有缓存，所以会去 huggingface上下载，但是由于网络原因，而且文件也比较大 2G。所以出错了。

5，把bert-base-uncased下载到本地 修改 MiniGPT-4-main/minigpt4/models/blip2.py，其中有两处引用，改成本地路径就可以了。

6，欣赏一下启动成功，不知道小蛋糕涂抹橡胶是什么鬼 ！