Bi-Modal Learning With Channel-Wise Attention for Multi-Label Image Classification

方法

视觉特征生成：
\quad 第i个注意力部分的attention M${}_i$=sigmoid(${\sum }_{j=1}^c$d${}_j$[W$\ast$X]${}_j$)，其中$c$是通道数，d${}_j$是标量，[$\bullet$]${}_j$是一个矩阵
最终的特征表征P${}_i$(X)=${\sum }_{j=1}^c$([W$\ast$X]${}_j\cdot$M${}_i$)
接着预测注意力部分的标签Y${}_i$=V$(P_i(X))$，其中V是预训练的CNN预测器。如图4所示，具有较高输出值的注意部分将被选取，其他冗余部分会被省略

将视觉特征与标签嵌入输入特征对齐模块后，得到的输出送入LSTM cell
作者还对通道分组网络和跨模态对齐编码器进行了2组可替代的训练，示意图如下：

体会

这篇文章创新性不强且作者不公布代码