【菜鸡读论文】AU-assisted Graph Attention Convolutional Network for Micro-Expression Recognition

【菜鸡读论文】AU-assisted Graph Attention Convolutional Network for Micro-Expression Recognition

芜湖！又到了每周分享论文时间啦！最近天气真的变得暖和了，今天最高温都22°了，春天真的来啦！每次到换季的时候，都在想新的一年，新的季节，应该怎么样度过呢，哈哈目前还没有什么太多的想法。

今天读的是ACM MM 2021的一篇论文，基于AU来做微表情识别，另外为了解决数据集太小，类别不均衡的问题，提出一种生成微表情数据的方法。

动机

1、低强度、短暂的面部运动难以被直接提取;
2、面部区域之间有复杂的相互作用，不同的微表情是面部区域的不同组合，而不是只关注某一个重要区域;
3、训练数据不足、不平衡, 一方面由于标记数据有限，识别模型存在过拟合问题;另一方面在一个不平衡的数据集上进行训练会导致模型预测结果有严重偏差。

解决办法:

1、针对上述（1,2）问题，提出AU辅助的图注意卷积网络AU-assisted Graph AttentionConvolutional Network (AU-GACN)，充分利用AUs之间的关系来提取MEs之间区别性的特征;2、针对上述（3）问题，提出AU强度控制生成网络AU lntensity Controllable GenerativeAdversarial Nets (AU-ICGAN),来进行MEs的合成;
3、此外AU-GACN增加了AU分类作为辅助任务。

本文贡献:

1、在本文中，我们提出了AU辅助图注意卷积网络（AU-GACN)，它有效地将AU识别任务与MER集成，并充分利用了AU的关系信息。据我们所知，这是第一个将AU检测与MER相结合的工作;
2、为了缓解现有MER数据集的有限性和不平衡问题，提出了一种新的MER数据增强方法，即AU强度控制生成对抗网络（AU-ICGAN)，该方法可以为基于MER任务学习的方法生成多种数据;
3、实验结果表明，该方法在将数据集合并为3个类别(CASME Il, SAMM, and SMIlc）和原始数据集类别时都具有较好的性能。

AU-GACN

首先，我们应用一个轻量级的三维卷积网络STPNet来提取MEs的时空特征。其次,进一步将提取的AU特征作为AU关系图中的节点特征。
在AU图关系学习中利用GCNs来增强所提取的ME分类特征。将AU多标签损失和ME分类损失结合起来训练AU-GACN。

Spatio-temporal ME Representation Learning

给定一个微表情序列,其目标是对情绪进行分类。其基本假设是,AU标签可以作为进一步的情绪标签分类的重要提示。因此,我们添加了AU分类作为一个辅助任务。所获得的AU节点特征可以进一步用于微表情识别。
为了解决计算成本和内存需求问题，采用STPNet、将3D卷积滤波器(3×3×3)分解为二维空间卷积（1×3×3)和一维时间卷积(3×1×1)进行时空特征提取。
最后三层是为全局平均池化(GAP)输出大小为[A,1],其中A是ME数据集中的AU的数量（例如，CASMEII数据集中的A=19) 。获得的特征图用于表示AU节点特征，并输入AU图构建。

AU Graph Relation Learning

AU关系图由一个节点集V和一个边集E组成，其中每个节点代表一个对应的AU，与从STPNet获得的表示相关联，边缘关系从训练集基于常见的面部表情和面部解剖分析收集。
在连接了三个连续的GCN层后，AU节点特征聚合到自注意图池化层

Supervised Loss

这是第一个结合AU损失和ME损失来提高识别准确性的MER工作。
因此AU分类是一个典型的多标签分类任务。我们计算了由STPNet生成的AU节点的BCE损失LAU:

ME损失LME是通过典型的交叉嫡损失来计算的。总损失包括AU损失和ME损失。

AU-ICGAN

我们提出了一种新的体系结构，即AU强度可控生成对抗网络(AU-ICGAN)，利用不同AU组合的强度合成ME训练样本。

生成器:
包含两个生成器:
(1) attention mask generator，只关注合成所需的表情的区域并保留图像的其余部分的区域;
(2) Color mask generator，负责整个图像的颜色变换。

判别器:
包含两个判别器:
(1）图像质量，图像质量评价的分支使用与EatchGAN网络相似的结构来分类给定的图像是真实的还是假的，并回归AU强度。
(2）视频质量，视频质量评估的分支利用3DConvNet架构来区分合成序列和真实序列，并识别微表情,以保证合成数据集的质量。

为了训练所提出的AU-ICGAN，设计了7个损失来指导优化，即对抗性损失Ladv、—致性损失Lc、注意力损失Latt、AU强度损失LAI、结构相似性损失LSSIM、ME损失LME和序列真实性损失Lsa

微表情数据合成效果

实验结果