MoE-LLaVA: Mixture of Experts for Large Vision-Language Models

本文是LLM系列文章，针对《MoE-LLaVA: Mixture of Experts for Large Vision-Language Models》的翻译。

摘要

对于大型视觉语言模型（LVLM），缩放模型可以有效地提高性能。然而，扩展模型参数显著增加了训练和推理成本，因为计算中的每个token都激活了所有模型参数。在这项工作中，我们提出了一种新的LVLMs训练策略MoEtuning，它可以构建一个参数数量惊人但计算成本不变的稀疏模型，并有效地解决了通常与多模态学习和模型稀疏性相关的性能下降问题。此外，我们提出了MoE LLaVA框架，这是一种基于MoE的稀疏LVLM架构。该框架在部署过程中通过路由器唯一地只激活前k名专家，使其余专家处于非活动状态。我们广泛的实验强调了MoE LLaVA在视觉理解方面的卓越能力及其减少模型输出中幻觉的潜力。值得注意的是，MoE LLaVA只有30亿个稀疏激活的参数，在各种视觉理解数据集上表现出与LLaVA-1.5-7B相当的性能，甚至在对象幻觉基准方面超过了LLaVA-1.0-13B。通过MoE LLaVA，我们的目标是建立稀疏LVLMs的基线，并为未来开发更高效、更有效的多模态学习系统的研究提供有价值的见解。代码发布于https://github.com/PKUYuanGroup/MoE-LLaVA。

1 引言

2 相关工作

3 方法

4 实验

5 结论和未来方向

在这项工作中，我们提出了MoE调整，以使MoE架构适应LVLM，并构建了基于MoE的备用模型MoE-LLaVA，该模型可以通过同时处理图像和文本特征来找到稀疏路径。我们的框架展示了强大的多模态理解能力和丰富的幻觉抑制潜力，在仅3B激活参数的情况下实现了LLaVA-1.5-7B的可比性能。
虽然MoE LLaVA展示了竞争能力，但我们观察到在训练稳定性方面存在一些困难，尤其是在16位浮点精度方面。此外，由于有多个专门研究不同能力的专家，MoELLaVA可以很容易地扩展到处理额外的任务，如检测、分割、生成，或处理更多的模态，如视频、深度和热。此外，目前还不知道MoE架构将如何在更大的LVLMs上执行，我们建议需要更多的数据来驱动更大的MoE LVLMs。