VLM 系列——Llava——论文解读

一、概述

1、是什么

    Llava 全称《Visual Instruction Tuning》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答、根据图片写代码（HTML、JS、CSS），潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。

    本文基于CLIP的视觉编码器，以及LLaMa语言解码器，构建了一个大规模的多模态模型（使用最简单的单层FC映射视觉特征到文本长度），并且将该模型在指令视觉-语言数据上进行了微调。

2、亮点

    数据方面：是第一个将指令微调扩展到多模态场景的工作，本文利用ChatGPT/GPT-4将原始的image-text pair转化成适当的instruction-following的格式，并构建了一个数据集。

    模型方面：大规模的多模态模型，本文基于CLIP的视觉编码器，以及LLaMa语言解码器，增加一个线性映射层映射视觉特征到语言模型的输入。构建了一个大规模的多模态模型，并且将该模型在指令视觉-语言数据上进行了微调。

    开源：本文将所构建的多模态指令数据集，用于生成该数据集的代码，以及模型训练的代码，模型checkpoint，以及视觉对话demo都进行了开源。