MiniGPT-4:用高级大型语言模型增强视觉-语言理解

摘要

论文链接：https://arxiv.org/pdf/2304.10592v1.pdf
最近的GPT-4展示了非凡的多模态能力，例如从手写文本直接生成网站和识别图像中的幽默元素。这些特征在以前的视觉语言模型中很少观察到。我们认为，GPT-4具有先进的多模态生成能力的主要原因在于使用了更先进的大型语言模型(LLM)。为研究这一现象，本文提出MiniGPT-4，用一个投影层将冻结的视觉编码器与冻结的LLM Vicuna对齐。MiniGPT-4具有许多类似于GPT-4所展示的功能，如从手写草稿中生成详细的图像描述和创建网站。此外，还观察到MiniGPT-4中其他新兴的功能，包括从给定的图像中创作故事和诗歌，为图像中显示的问题提供解决方案，教用户如何根据食物照片做饭等。在实验中，我们发现仅对原始图像-文本对进行预训练，可能会产生缺乏连贯性的不自然语言输出，包括重复和碎片化的句子。为解决这个问题，在第二阶段策划一个高质量、对齐良好的数据集，使用对话模板对模型