Rethinking Modal-oriented Label Correlations for Multi-modal Multi-label Learning

方法

Rethinking Modal-oriented Label Correlations for Multi-modal Multi-label Learning_第1张图片
对于第t步,将第t个模态的向量送入LSTM得到状态h t ^t t,并与之前t-1步的所有状态拼接起来送入密集层,通过模态特定标签预测f s p e c t ^t_{spec} spect与其他标签的先前标签预测F t − 1 ^{t-1} t1之间的协作进行标签预测,得到输出F t ^t t,公式化为:F t ^t t(H t ^t t)=σ ( f s p e c ( H t ) + Z t − 1 S ) (f_{spec}(H^t)+Z^{t-1}S) (fspec(Ht)+Zt1S),其中 Z t − 1 Z^{t-1} Zt1=F t − 1 ^{t-1} t1(H t − 1 ^{t-1} t1)

体会

这是一篇IJCNN的论文,不如AAAI,作者图1的注释有误且不公布代码

你可能感兴趣的:(MMML学习,深度学习,人工智能,计算机视觉)