[论文阅读] Improved Baselines with Visual Instruction Tuning

启发：

1、LLaVA-1.5和LLaVA以及其他大模型相比，做出了哪些改进？

（1）使用CLIP-ViT-L-336px作为视觉编码器，使模型能处理336px的高分辨率图像，这使得模型能从图像中提取出更多细节信息。此外，还进一步探索了如何适应更高分辨率的图像，通过对图像做分割的方式成功达到448px的输入。

（2）使用双层MLP来增强模型的多模态理解能力。

（3）制定了更明确的响应格式提示，使用该提示对模型进行微调，解决LLaVA存在的短格式和长格式 VQA不平衡的问题。

（4）数据集方面借鉴了InstructBLIP，加入了学术数据，此外，还加入了GVQA、ShareGTP等多个数据集，通过这种数据扩展方式强化模型性能。

目录

Abstract

1. Introduction

2. Related Work

2.1 Instruction-following large multimodal models (LMMs)

2.2 Multimodal instruction-following data

3. Approach  

3.1. Preliminaries

3.2. Response Format Prompting

3.3. Scaling the Data and Model

3.4. Scaling to Higher Resolutions

4. Empirical Evaluation

5. Open Problems in LMMs

5.1. Data Efficiency

5.2. Rethinking Hallucination in LMMs

6. Conclusion

---

Abstract

研究问题：改进LLaVA性能

研究方法：使用CLIP-ViT-L-336px作为视觉编码器，并引入MLP投影层来增强模型的表示能力。在训练数据中加入了学术任务导向的可视化问答（VQA）数据，并使用了响应格式化提示，以改善模型对短答案和长答案的生成能力。

1. Introduction

• LMMs有什么用？

        它是通用AI助手的关键组件。

• 最近关于LMMs的工作的研究重点是什么？

        近期工作关注视觉指令调整（visual instruction tuning），LLaVA和MiniGPT-4都取得很好的成果，LLaVA架构也被应用于许多领域。

• 本文的研究思路

        考虑到不同大模型在不同任务上的性能表现各有优劣，而目前没有合理解释能说明导致这些差异的原因是什么，可能是训练数据，也可能是Qformer等重采样器的使用，我们从输入、模型、数据的角度来进行系统研究，探索提升LMMs性能的有效路线。

        首先，我们发现 LLaVA 中全连接的视觉语言连接器具有强大的能力和数据效率，所以我们在LLaVA框架基础上建立了一个更强大的baseline。具体的改进有两个，MLP跨模态连接器和结合了学术任务的相关数据。

        然后，我们深入研究了大型多模态模型在其他开放问题上的早期探索，发现了LLaVA表现好的原因：

（1） 缩放到高分辨率图像输入。我们表明，LLaVA 的架构可以通过简单地将图像划分为网格来扩展到更高的分辨率，并保持其数据效率;随着分辨率的提高，它提高了模型的细节感知能力，减少了幻觉。

（本来高分辨率图像需要大量计算资源，LLaVA通过把高分辨率图像分割成小块，然后分别处理小块，一方面使用较少的计算资源来处理高分辨率图像，提升了数据效率，另一方面让模型能够关注到图像中的更多细节，降低“幻觉”出现概率）

（2） 组合能力。我们发现大型多模态模型能够推广到组合能力。例如，长格式语言推理的训练与较短的视觉推理可以提高模型对多模态问题的编写能力。

（一方面的体现是模型处理多模态输入的能力，LLaVA能够同时看到图像输入和文本输入，然后结合多模态输入更准确的回答问题。另一方面的体现是当模型能处理任务A和B时，它能否进一步处理同时涉及A和B的任务C）

（3） 数据效率。我们表明，将 LLaVA 的训练数据混合随机降低高达 75% 不会显著降低模型的性能，这表明更复杂的数据集压缩策略的可能性可以进一步改进 LLaVA 已经高效的训练管道。

（LLaVA即使只用75%的数据训练，性能也不会出现明显下降࿰