A Novel Approach Based on Encoder-Decoder with Attention Framework for Multi-modal Multi-label Learn

方法

给定实例的输入模态序列{x${}^1$,x${}^2$,…,x${}^m$}，考虑到每个模态的维度数不同，修改输入模态${\tilde{x}}^k$为[0,0,…,$x^k$,…,0]，$h$,$h$分别是前向和后向隐藏状态，对于第$t$步，
$h_t$=$F_{en}$(${\tilde{x}}^t$,$h_{t-1}$)
$h_t$=$F_{en}$(${\tilde{x}}^t$,$h_{t-1}$)
$h_t$=[$h_t$;$h_t$]
其中，$F_{en}$和$F_{en}$是非线性函数，这篇文章使用GRU
注意力向量能这样计算：a${}_i$=${\sum }_{j=1}^m{\alpha }_{ij}{h}_j$，其中

而$r_{ij}$=a(s${}_{i-1}$,$h_j$)，a($\cdot$)是一个打分函数，s是解码器的隐藏状态
每个s都有两个输出：标签预测和模态预测。在第$t$步，最终标签预测是上一步的预测和相关矩阵$W_{co}$ 加上当前步的结果的乘积，S${}_t$=F${}_{de}$(x${}^t$,s${}_{t-1}$,a${}_t$)，其中F${}_{de}$和$F_{en}$一样，不过输入多了注意力向量。最终计算损失对框架的参数的导数，然后更新框架的参数。

体会

不懂作者为何要对模态进行序列建模？
作者未公布代码