VLM 系列——MoE-LLaVa——论文解读

一、概述

1、是什么

     moe-Llava 是Llava1.5 的改进 全称《MoE-LLaVA: Mixture of Experts for Large Vision-Language Models》，是一个多模态视觉-文本大语言模型，可以完成：图像描述、视觉问答，潜在可以完成单个目标的视觉定位、名画名人等识别（问答、描述），未知是否能偶根据图片写代码（HTML、JS、CSS）。支持单幅图片输入（可以作为第一个或第二个输入），多轮文本对话。

    整体基于Llava1.5，包括训练数据，主要变化在于LLM换为了更小的几个版本，并且LLM增加了moe模块，进行了三阶段训练（前两个阶段和llava1.5相同，第三阶段训练moe层）。具体结构包含：基于CLIP的视觉编码器，以及多个小语言解码器（添加moe层），使用最简单的两层FC构成MLP映射视觉特征到文本长度。

2、亮点

    论文中作者的总结贡献分为三点：

    *探索了 MoE-tuning，这是一种新的三阶段训练策略，用于将 MoE 适应 LVLM，并防止稀疏引起的模型退化。

    *提出了 MoE-LLAVA，这是一种基于 MoE 的稀疏 LVLM 框架，在保持计算成本的同时显着扩展了参数的数量。

    *广泛的实验表明，MoE-LLAVA 在多模态理解和幻觉抑制方面显示出巨大潜力在多个视觉理解数据集上仅使用