Attention Bottlenecks for Multimodal Fusion论文阅读笔记

Attention Bottlenecks for Multimodal Fusion论文阅读笔记

一、相关信息

1、论文名称： Attention Bottlenecks for Multimodal Fusion
2、论文地址： https://arxiv.org/pdf/2107.00135v1.pdf
3、引用方式：

@article{nagrani2021attention,
  title={Attention bottlenecks for multimodal fusion},
  author={Nagrani, Arsha and Yang, Shan and Arnab, Anurag and Jansen, Aren and Schmid, Cordelia and Sun, Chen},
  journal={arXiv preprint arXiv:2107.00135},
  year={2021}
}

二、相关工作

1、Transformer

传送门：https://blog.csdn.net/qq_39630875/article/details/119102109

2、ViT

1）实现过程

① 先把图像的patch映射成一个embedding，即图中的linear projection层。
② 然后加上position embedding。
③ classification由MLP完成。

2）存在问题

① ViT得拿超大数据集来训练；
② patch直接拉平送进去，有些暴力；
③ 缺乏局部特征的采集。

3、自注意力机制和互注意力机制的区别

MSA(X) = Attention($W^{Q}X$; $W^{K}X$; $W^{V}X$)
MCA(X;Y) = Attention($W^{Q}X$; $W^{K}Y$; $W^{V}Y$)

三、方法

1、融合策略
Here, [$z_{rgb}$] [$z_{spec}$] denotes the concatenation of the tokens for each modality. We use different projections Ergb and Espec for RGB and spectrogram patches respectively, and prepend a separate classification token for each modality.
2、多模态融合

3、Fusion via Attention Bottlenecks

备注：

本文仅供学习，如有侵权，请和作者联系~