人脸表情识别之CenterLoss

最近在帮师兄做Facial Expression Recognition，其中有一步很关键的一步就是Loss的改进。

跟着师兄给我指定的步伐做实验的话，我先实现的是这篇《A Discriminative Feature Learning Approach for Deep Face Recognition》（ECCV 2016）。师兄跟我说，先带我玩Loss，玩透了Loss再带我玩模型。（阿里大神就是不一样。。。

当然了，我也没有辜负师兄的信任和栽培，在我如此繁重的任务之中，我也抽出了时间高效地实现论文。其实我全力去复现的时间不足两天，中间都在国基和其他的事情上切换。两天时间复现了CenterLoss和IslandLoss，自我感觉是很满意的了。（夸一下自己。。。

虽然。。结果一般，我觉得调一下参，稍微完善一下网络结构，优化效果应该会凸显。

废话不多说，进入正题～～

发现问题

对于常见的图像分类问题，在center Loss出来之前，我们一般用Softmax来做Loss的。（当然16年的时候其实已经有triplet Loss）。我们先看一下用Softmax做图像分类的Loss弊端。

image.png

一般而言，我们在Model的最后一层会接上一个Dense层来调整特征之间的非线性关系。如果是仅仅使用Softmax的话，那么最后一个全连接层可以几乎看作是一个线性分类器。

论文原文：“ In this way, the label prediction (the last fully connected layer) acts like a linear classifier and the deeply learned features are prone to be separable.”

显然，我们似乎需要寻找一个更好地进行分类的思路。下面贴上MNIST数据集中，仅使用Softmax的图。

image.png

解决问题1

我觉得作者参考了，KNN的思想，“组内距离应该越来越小，组间的距离应该越来越大”。所以作者提出了以下的公式：

image.png

简要地说就是，Center_Loss的公式就是希望每个样本的Feature离Feature中心的距离的平方和越小越好，也就是说类内距离越小越好。

image.png

新的Loss函数加上了Center Loss之后，理论上会更好地区分不同的类别。因为CenterLoss是基于mini_batch进行计算的，我们为了更好的性能，我们采用SGD优化器来优化CNN网络。

解决问题2

新的Loss的提出需要更新中心点，思路其实很好懂。就是每一次的epoch，特征类群的中心点是要发生移动的，就是要拉开各个特征类群的中心点。为了移动每次特征中心点，作者提出了以下的公式来更新中心点。

image.png

上述公式看起来好像好复杂，其实，就是通过每次mini_bach中每个类别的平均距离来调整中心点。

网络结构

网络结构的设计因数据集而异，我采用的是FER2013，跟论文的数据集不同，这里直接贴论文上的网络结果。

image.png

结论

image.png

总结就是，如果图像的深度特征无法被CNN网络很好地识别，那么Softmax损失函数表达式在表达分类组间之间的能力非常有限，本文是提出了一个Center Loss的损失函数来做替代，思路就是组内距离应该越来越小，组间的距离应该越来越大。Loss的设计和Centers的更新也很好懂，代码我放Github上了，参数和结构都要微调，欢迎各位大佬PR。

Github：https://github.com/shanxuanchen/FacialExpressionRecognition

论文地址：
https://ydwen.github.io/papers/WenECCV16.pdf