结合 Swin-Transformer 的 LAVT: Language-Aware Vision Transformer for Referring Image Segmentation 论文笔记

写在前面
  这篇文章同样是参考图像分割，区别于上一篇： 无卷积结构(那就纯ransformer)的参考图像分割：ReSTR: Convolution-free Referring Image Segmentation Using Transformers，这篇结合了当下最主流的 Swim-Transformer 网络，性能着实强悍，且新颖度很高，是篇好论文。

• 论文地址：LAVT: Language-Aware Vision Transformer for Referring Image Segmentation
• 代码地址：GitHub
• 收录于：CVPR 2022

一、Abstract

  摘要不同寻常，上来夸下同行们用 “cross-modal” 解码器 / Transformer 架构做的好，吹了一半的摘要都是这个。接下来一半提出自己的方法，在视觉编码器中间层进行“提前融合”效果会好很多，RefCOCO、RefCOCO+、G-Ref 数据集上超越了目前的主流方法一大截。

二、引言

  照例，第一段给出参考图像分割的定义、应用以及挑战。
  第二段对目前已有方法的介绍：采用不同的编码器提取视觉和语言特征，送入跨模态解码器。
  第三段强调之前的方法未能在编码器中利用多模态上下文特征，因此一个可能的解决办法是在视觉编码阶段同时进行视觉和语言 embedding。
  第四段描述本文提出的方法，语言感知的视觉 Transformer 网络 (LAVT)：

  通过逐词注意力机制将语言特征整合到视觉特征中，去掉了跨模态解码器，取而代之的是一个轻量化的 mask 预测器。
  第四段讲本文的实验在 RefCOCO、RefCOCO+、G-Ref、G-Ref 数据集上性能很强。
  最后本文贡献：提出 LAVT，去掉了跨模态融合；在三个数据集上性能很牛皮。

三、相关工作

3.1 参考图像分割

  一般的做法：从文本和图像上分别提取特征，融合多模态特征来预测分割的 mask。接下来对之前的多模态融合方法进行介绍。
  与本文最相关的方法是 VLT 和 EFN：

【VLT】Henghui Ding, Chang Liu, SuchenWang, and Xudong Jiang. Vision-language transformer and query generation for referring segmentation. In ICCV, 2021. 1, 2, 6, 8

【EFN】 Guang Feng, Zhiwei Hu, Lihe Zhang, and Huchuan Lu. Encoder fusion network with co-attention embedding for referring image segmentation. In CVPR, 2021. 2, 4, 6, 8

其中 VLT 采用 Transformer decoder 融合视觉-语言特征，EFN 采用卷积网络编码语言信息。本文提出的方法不同于这两者，在 Transformer encoder 中对特征进行提前融合。

3.2 Transformer

  老生常谈的，略过。最后补刀：很少有尝试设计统一的 Transformer 模型建模推理图像分割。

四、方法

4.1 语言感知视觉编码

  采用视觉表示模型 (BERT) 从表达式中提取 embedding 向量 $L\in {\mathbb{R}}^{C_t\times T}$，$C_t$ 和 $T$ 分别是通道数和最大词数。
  另外一边，根据 Swin Transformer 的四个阶段，本文也设计了这样四个阶段，不同的是采用 pixel-word attention module (PWAM) 模块进行多模态融合，其中主要部分：语言门 Language gate (LG)，用于管理语言在语言路径 Language pathway (LP) 上的信息流动。

4.2 像素-词注意力模块 (PWAM)

  重点来了：给定视觉特征 $V_i\in {\mathbb{R}}^{C_i\times H_i\times W_i}$ 和语言特征 $L\in {\mathbb{R}}^{C_t\times T}$，根据上图有：
$$\begin{array}{rl}{V}_{iq}& =\text{ flatten }\left({\omega }_{iq}\left(V_i\right)\right),\\ L_{ik}& ={\omega }_{ik}(L),\\ L_{iv}& ={\omega }_{iv}(L),\\ G_i^{\prime }& =\mathrm{softmax}\left(\frac{V_{iq}^T{L}_{ik}}{\sqrt{C_i}}\right)L_{iv}^T,\\ G_i& ={\omega }_{iw}\left(\mathrm{unflatten}\left(G_i^{\prime T}\right)\right),\end{array}$$其中 ${\omega }_{iq}$、${\omega }_{ik}$、${\omega }_{iv}$、${\omega }_{iw}$ 都是可学习的 $1\times 1$ 卷积权重。之后联合语言特征 $G_i$ 和视觉特征 $V_i$，通过逐元素乘积得到多模态特征图：
$$\begin{array}{rl}{V}_{im}& ={\omega }_{im}\left(V_i\right)\\ F_i& ={\omega }_{io}\left(V_{im}\odot G_i\right)\end{array}$$注意每次的 $1\times 1$ 卷积后面都会跟着 $ReLU$ 激活函数。

4.3 语言路径

  为防止 $F_i$ 占据太大比重，淹没视觉信息 $V_i$，设计语言门 LG 来学习逐元素权重图，从而对 $F_i$ 放缩。

  用公式表示为：
$$\begin{array}{l}{S}_i={\gamma }_i\left(F_i\right)\\ E_i=S_i\odot F_i+V_i\end{array}$$其中 $\odot$ 表示逐元素乘积，${\gamma }_i$ 为双层感知机：$1\times 1$ 卷积 + $ReLU$ + $1\times 1$ 卷积 + $Tanh$。

4.4 分割

  联合多尺度特征图 $F_i,i\in \left\{1,2,3,4\right\}$，以自上而下的方式进行解码：
$$\{\begin{array}{rl}{Y}_4& =F_4\\ Y_i& ={\rho }_i\left(\left[v\left(Y_{i+1}\right);F_i\right]\right),i=3,2,1.\end{array}$$其中 $\left[;\right]$ 表示特征通道上的拼接操作，$v$ 表示双线性上采样插值，$\rho$ 表示两层的 $3\times 3$ 卷积 + Batch Norm + $ReLU$，最终的 $Y_1$ 通过 1 个 $1\times 1$ 卷积投影到两个分类得分图中。

4.5 实施细节

  Transformer 层初始化权重来自于 Swin Transformer，预训练在 ImageNet-22K 上，维度 512，语言编码器为 BERT，12层，维度 768, Cross-entropy 损失，AdamW 优化器，权重衰减 0.01，初始学习率 0.0000 5，40 个 epoch，batch 32，图像尺寸 $480\times 480$，无图像增强策略。

五、实验

5.1 数据集与评估指标

  数据集：RefCOCO、RefCOCO+、G-Ref。
  评估指标：整体 IoU：oIoU；平均 IoU：0.5，0.7，0.9

5.2 与其他方法的比较

5.3 消融实验

5.3.1 语言路径 LP

5.3.2 像素-单词注意力模块 PWAM

  同上图。

5.3.3 语言门中的激活函数

5.3.4 PWAM 中的归一化层

  上图 3(b)。

5.3.5 用于预测的特征

  上图 3(c)。

5.3.6 多模态注意力模块

  上图 3(d)。

5.4 预测可视化

5.5 同相关方法的公平比较

六、结论

  提出了 LAVT，实验效果牛批。

七、附录

A 语言模型中潜在的偏见

  源于 BERT。

B 语言路径

  作者也尝试了其他方法：

C 准确率-召回率分析

D MIoU

E 可视化

写在后面

  这几篇论文都是快速的过了~~
  随着大量论文的阅读，咱们浏览/精读论文的速度应该只会越来越快，好好加油