MLP Architectures for Vision-and-Language Modeling: An Empirical Study 笔记

写在前面
  这是一篇实验性质的论文，重点在于结论，这也是笔者第一次接触到这类文章，总体来说，重点关注实验结论，至于实验过程，还是尽量看懂其实验的步骤，无需过度理解。另外，参考文献中的一些文章值得细细阅读，会在博文最后面给出。

• 论文地址：MLP Architectures for Vision-and-Language Modeling: An Empirical Study
• 代码地址：Github，开源了但没完全开源~
• 看论文的风格，盲猜一波：预计提交了2022年的CVPR~

这篇博文也不打算扯太多东西了，不切分 子标题了，也基本上无需再次翻阅原文了~

一、Abstract

  首次研究了MLP架构用于VL融合。在5个VL任务和5个数据集上进行实验。结果：

• 没有预训练的情况下，MLPs相比于Transformer有明显的性能代沟；
• VL预训练能够弥补这种代沟；
• 多头注意力机制并非那么牛，只需要在MLPs上加个单头注意力就足以表现的和transformer差不多的性能；
• 当进行鲁棒性VQA实验时，MLPs和Transform代沟会变小，这一点表明了使用MLPs用于VL融合能够泛化到和Transform类似的性能。

  这些发现证实了MLPs可以有效的对齐VL特征而不需要self-attention，那么问题来了，能够用MLPs代替VL模型结构吗？答案是不行，所有的MLPs相较于最先进的VL模型，处于预训练的情况下，精度是次优的，但是预训练的MLP能够超过没有预训练的transform(废话)。

二、引言

  前面的故事主要是讲一些MLP模型在分类任务中能够和Transform媲美，那么在多模态任务中呢？遂有了接下来的这篇论文。本文贡献如下：

• 首次研究了MLPs用于VL；
• 5个VL任务，收集了足够的证据证明摘要的结论以及MLPs存在的限制；
• 在5个VQA数据集上进行分析，MLPs加上单个注意力头能够大致取得Transform差不多的性能。

三、相关工作

  两个部分的预训练介绍下：视觉-语言预训练，MLPs在视觉和语言方面的应用。

四、方法

  上图中 Or 的部分就是这一节的介绍内容。

五、实验

• 实验步骤：
  预训练数据集：COCO、VG、VQA、GQA
  预训练目标：MLM、ITM、VQA
  其他训练设置：Batch-512, 16块 V100， 5-6天，得，又是个烧钱的工作，惹不起！
  下游任务：VQA、GQA、Visual Entailment(SNLI-VE)、NLVR、ITR(检索)
  鲁棒性数据集：VQA-Rephrasings、VQA-LOL、GQA-OOD
• MLPs的结果
  摘要里面那些
• 纯MLPs的结果
  仍有待进一步挖掘的空间(搁这挖坑呢)
• 鲁棒性分析
  纯MLPs提升空间很大(搁这挖坑呢)

六、消融实验

• 训练集的尺度
  当然越大越好啊
• 参数尺度的影响
  当然到某个程度就饱和滴啦
• 视觉和文本编码器的有效性
  MLP很有前景(搁这挖坑呢)
• 主要发现
  MLP在分类上行不行？行
  MLP在VL任务上行不行？不行
• MLP的变种比较
  正常灌水，总之比Transform低
• 权重可视化
  越到后面越融合在一起滴啦

七、结论+展望

  结论：摘要里面那些
  展望：加大数据，加大模型，前提：钱烧的足够多！

八、附录

• 更多的结果
  模型加变化
• 图文匹配的结果
  正常分析，给出MLP的潜力(挖坑)
• 参数量和浮点数
  这次我站MLP那边
• 下游任务的实验设置
  VQA、Visual Entailment (SNLI-VE)、Natural Language for Visual Reasoning for Real (NLVR)、ImageText Retrieval、
• 鲁棒性数据集介绍
  VQA-Rephrasings、VQA-LOL、Adversarial VQA、GQA-OOD
• 额外的细节
  换成CNN

博主认为的值得一阅的参考文献

  以下这些文章我后面也会一一去阅读的，共同进步，奥利给！

【5】Jize Cao, Zhe Gan, Yu Cheng, Licheng Yu, Yen-Chun Chen, and Jingjing Liu. Behind the scene: Revealing the secrets of pre-trained vision-and-language models. In ECCV, 2020. 5
【10】Tejas Gokhale, Pratyay Banerjee, Chitta Baral, and Yezhou Yang. Vqa-lol: Visual question answering under the lens of logic. In ECCV, 2020. 2, 5, 15
【14】Lisa Anne Hendricks, John Mellor, Rosalia Schneider, Jean-Baptiste Alayrac, and Aida Nematzadeh. Decoupling the role of data, attention, and losses in multimodal transformers. arXiv preprint arXiv:2102.00529, 2021. 5
【32】Linjie Li, Zhe Gan, and Jingjing Liu. A closer look at the robustness of vision-and-language pre-trained models. arXiv preprint arXiv:2012.08673, 2020. 5, 15
【33】Linjie Li, Jie Lei, Zhe Gan, and Jingjing Liu. Adversarial vqa: A new benchmark for evaluating the robustness of vqa models. In ICCV, 2021. 2, 5, 15
【48】Meet Shah, Xinlei Chen, Marcus Rohrbach, and Devi Parikh. Cycle-consistency for robust visual question answering. In CVPR, 2019. 2, 5, 15
【50】Sasha Sheng, Amanpreet Singh, Vedanuj Goswami, Jose Alberto Lopez Magana, Wojciech Galuba, Devi Parikh, and Douwe Kiela. Human-adversarial visual question answering. In NeurIPS, 2021. 2, 5, 15

写在后面
  本篇博文就这样潦草结束了，还是那句话，结论重要，论文没时间看的就不用去阅读了。博文最后列出来的几篇参考文献还是值的一看滴~