嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴

  • 1、表情识别网络模型
    • 1.1 CBAM
    • 1.2 嵌入 CBAM 的多尺度深度可分离卷积残差块
    • 1.3 表情识别网络总体模型
  • 2、实验
    • 2.1 FER2013
    • 2.2 CK+
    • 2.3 消融实验
  • 3、结论

主要解决几个问题:1)深度网络带来的梯度爆炸或弥散问题;2)特征提取效果不好;3)数据存在冗余或噪声(多余和无用的数据)

本文的解决办法:1)残差链接;2)Inception式结构进行多尺度特征提取;3)CBAM注意力模块提升有效特征的表达,削弱噪音影响。

亮点在于:1)Inception中的多尺度卷积核使用多层深度可分离卷积卷积替换,保证感受野的同时降低参数量;2)将CBAM嵌入到Inception每个分支中去,提升每个尺度的特征权重。

1、表情识别网络模型

1.1 CBAM

嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴_第1张图片
嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴_第2张图片
需要注意的是,这里使用sigmoid(有些注意力使用的softmax)

1.2 嵌入 CBAM 的多尺度深度可分离卷积残差块

嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴_第3张图片
可以看出,不考虑通道,3x3DW的感受野=3x3Conv的感受野。所以上图四个分支就等效于普通卷积的3x3、5x5、7x7、9x9,实现了轻量级的多尺度特征提取结构。

除此之外还有CBAM加强每个尺度提取的特征图,剔除冗余特征,提升特征的有效性

1.3 表情识别网络总体模型

首先一个3x3x64的卷积作为stem layer。

后面跟上8个Basic Block(注意Basic Block-1实际上是两个Basic Block组成,其他类同),每层的输出通道数:64、64、128、128、512、512、256、256、512、512。随后跟上全局均值池化将512通道的特征图转换成512向量,然后通过一个FC层输出7分类数据。总体结构上就是[StemLayer, BasicBlocks, GAP, FC]

整体结构如表和图4所示(特征图经过Basic Block-n的运算,shape不变,但是在Basic Block-n之间可以看到特征图尺寸减半、通道加倍,这里的操作没有说明)。
嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴_第4张图片

2、实验

2.1 FER2013

在FER2013数据集上使用TenCrop精度。实验共迭代 300 次,初始学习率设为 0.01,批量
大小设为 32,50 次迭代后,每 8 轮迭代学习率的衰减为之前的 0.8 倍(感觉很多论文都是这个设置)。
最终得到73.89%的准确度,混淆矩阵如下图:
嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴_第5张图片

2.2 CK+

在 CK+数据集上训练时,因其数据较少,故采用十折交叉验证,实验以 9:1 的比例将数据集分为训练集和测试集,本文算法在 CK+数据集得到 94.47%的准确度。
嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴_第6张图片
嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴_第7张图片

2.3 消融实验

嵌入注意力机制的多尺度深度可分离表情识别--2021.宋玉琴_第8张图片
ABCD分别代表Inception结构中的4个分支,n-CBAM代表在n分支上添加CBAM模块。

可以看出添加了B分支(等同5x5卷积)提升最大,可能是FER2013数据集的图像尺寸比较小(48x48),3x3+5x5分支已经能表征需要的多尺度。CBAM也是在分支B上提升最大。

3、结论

利用残差结构和深度可分离卷积堆叠设计了一种类Inception的多分支结构,并且在每个分支上使用CBAM强化特征。实现了保证感受野的轻量级多分支结构,并获得了很好的效果。

从消融实验分支B的提升效果看出,多分支确实能够提高特征提取能力,这可能和表情识别需要局部和全局信息判断有关

你可能感兴趣的:(论文集)