Micro-expression Analysis by Fusing Deep Convolutional Neural Network and Optical Flow阅读笔记

文章的主要内容包括三步：
1，使用多任务学习网络进行人脸关键点定位，划分人脸区域。
2，使用卷积网络得到每个区域的光流，使用的是flownet2.0。
3，对得到的光流进行修正来改善得到的特征，最后用SVM进行分类。
具体的：
1，人脸关键点定位
文章使用的多任务深度卷及网络参考的是这篇文章《Facial landmark detection by deep multi-task learning》
2，光流网络
主要用的是flownet2.0，在下一篇博客介绍。在得到光流之后，化为极坐标形式，之后In contrast with the HOOF feature, the bin which has the maximum number of the optical flow vector in the region is selected and the mean feature vector is calculated：

这个Bmax没看明白，最后一帧图片的光流特征可以用36x2=72维度的特征表示，
36个ROIs，每个ROI一个特征，这样就减少了不必要的特征。
3，Micro-expression analysis
使用Dlib机器学习库来检测人脸，之后将人脸区域送进多任务学习网络进行关键点定位。同时，计算两帧图片间的光流，对比36个区域，得到每个区域的光流，在进行光流修正，最后使用LIBSVM进行分类。文章使用的训练和测试方法为留一交叉验证。
在实验方面，比较了修正的HOOF特征和原始的HOOF特征在不同的数据集上的准确率。

其他方法和本文方法的准确率对比，