VLM 系列——Llava1.5——论文解读

一、概述

1、是什么

  Llava1.5 是llava 的升级 全称《Improved Baselines with Visual Instruction Tuning》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码（HTML、JS、CSS），潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。

    本文基于CLIP的视觉编码器，以及LLaMa语言解码器，使用最简单的两层FC构成MLP（llava是一层）映射视觉特征到文本长度，构建了一个大规模的多模态模型，并且将该模型在指令视觉-语言数据上进行了微调（数据集更丰富），并且通过增加特定指令来解决简单回答指令的跟随性。

2、亮点

    文章里面没有直接罗列自己的亮点，文中提到：用最简单的架构、公共数据集、小的计算资源消耗实现了最佳性能，为未来的研究提供了完全可复制和负担得起的基线。分开来讲：

    *数据方面：一阶段复用llava数据；二阶段微调新增多种数据源；对于短图像问答，使用明确的指令”Answer the question using a single word or phrase. “提升简短、复杂描述的指令跟随性。

    *模型方面：CLIP-ViT-L-336px + MLP 投射层（从llava的单层升级为两层）&