【菜鸡读论文】Invisible emotion magnification algorithm (IEMA) for real‑time micro‑expression recognition

Invisible emotion magnification algorithm (IEMA) for real‑time micro‑expression recognition with graph‑based features

大家好哇！又到了新的一周读论文的时候啦！这周有点小迷茫，因为开组会的时候和导师交流了一下，谈到自己科研的方向的时候导师给出了一些建议。其实这本来挺好的，至少给自己指明了方向，但是现在感觉以自己的水平，不知道能不能顺利完成任务，所以小迷茫变大迷茫了。哭唧唧~~~

让我们来看看今天读的论文吧！

这篇论文主要讲的就是基于人脸地标来对微表情运动进行放大，本文中会考虑在x轴、y轴还有xy轴上分别进行放大的效果，以及使用三种不同的方法去计算特征，最终会使用SVM进行分类。
下面，让我们先来看看整体的算法架构图吧！
可以看出，本算法是利用onset帧和apex帧的68个人脸地标计算放大参数以及人脸运动方向，然后将它们加到顶点帧的x和y坐标，最终生成放大后的人脸地标，以此来增强面部肌肉运动的幅度。
有了新的人脸地标（坐标）之后，将图段的欧氏距离和梯度作为特征表示。
本文还有一大创新点在于算法的速度很快。本文所提出的IEMA在准确性和f1分数方面都优于其他几种微表情放大运动。此外，所提出的IEMA运动时间为每个样本3.41ms，也就是说293帧/秒。这表明，所提出的IEMA可以处理超过200帧/秒的实时微表情识别。
下面，让我们一起来看看如何去放大运动吧！
（其实这里非常简单，甚至连我这样的小菜鸡都可以写出代码来，大哭！俺终于有点出息了！）
首先计算apex帧中人脸地标坐标点与onset帧中对应点的欧氏距离

将这个距离乘以一个放大因子（可以自己决定）

接下来，就是决定放大的方向了，因为我们是二维坐标，所以这里要计算一下在x轴y轴上的放大方向（正方向还是反方向）

接下来将这个放大值加到我们原本apex帧的坐标上就可以啦！

完整的算法流程如下，这个也非常清晰

接下来，作者对比了一下分别对于x、y和xy坐标进行放大后放大地标相对于onset地标的变化幅度。

Dlib人脸地标序号	对应位置
0-17	jaw
17-22	right_eyebrow
22-26	left_eyebrow
27-36	nose
36-42	right_eye
42-48	left_eye
48-68	mouth

可以看到对于y和xy放大效果最明显（可能是因为微表情大多是上下运动，因此在y轴上运动幅度比较大）
作者也做了一个可视化
由上图，在y轴和xy轴上进行放大的效果最明显。
作者在不同的情绪图片上进行了测试，如下，可以看到surprise的变化幅度最大，这也能解释在最终分类时，surprise的分类效果最好。
接下来，来考虑如何计算特征。
本文通过考虑点与每个段之间的距离以及点之间的梯度来计算特征。

并对特征进行归一化

考虑三种不同的段的计算方法
接下来，在使用apex帧人脸地标，在三种不同段的划分下进行试验

接下来，是一些实验结果，不同的分段方法，三种放大策略（在x轴、y轴和xy轴）