Caffe与Lasagne使用——人脸关键点检测
Caffe与Lasagne 使用——人脸关键点检测
一. Caffe求解回归问题
在使用Lasagne之前，我尝试用Caffe做回归问题。毕竟Lasagne是基于Theano的，所以训练速度上Caffe占优。
1. 尝试方法
清理掉标签数据中的NaN值后，尝试过下述方法：
(1) 输出数据根据最大值和最小值归一化到[0,1]区间内；
(2) 输出数据属于不同分布，归一化至标准正态分布，均值升为0.5；
(3) 修改网络结构，微调model zoos中的网络。
2. 实验结果
(1) 训练发散，方法1可以解决；
(2) 方法1解决后的直接后果是Caffe训练后收敛并且有一些损失；
(3) 方法2和3会使得网络不会发散，仅仅在一开始快速收敛，后面会在一定范围内震荡。
3. 联系作者
联系Balakrishnan Prabhu先生 [1]后，他建议我：
(1) 先清理数据中的NaN，否则收敛时会产生很多问题；
(2) 对层文件使用xavier权重：
weight_filler{
type: "xavier"
}
bias_filler {
type: "constant"
value: 0.1
}
(3) 学习率太快或太慢？调整它。
type: "xavier"
}
bias_filler {
type: "constant"
value: 0.1
}
二. 相关工作
观察[1]中给出的效果，Caffe回归时最后还是收敛到均值。所以Balakrishnan Prabhu先生选择了快速收敛的那一时刻的模型。
达闻西在知乎中[3]给的实例是单变量回归，但输出变量为有序程度，可以解释为这张图片是有序图片的可能性是多少，虽损失层修改为欧几里德损失，和分类问题的区别在于把分类的one-hot格式变成了检测为有序图片的概率。
陈日伟[4]也给出了人脸关键点检测的操作。卷积层变为LOCAL层，但图像分辨率从96*96大幅下滑为39*39，定位精度会受到影响。效果见其博客和代码。
Daniel Nouri[2]给出的结果最好，网络训练采用Lasagne，同时公布了
源码。由于
Journey-Dream[5]已经详细翻译了原文，所以细节方面有问题可以再讨论。
三. Step by Step
Daniel Nouri的网络模型类似Yann LeCun的经典CNN模型，大致提供了两个CNN模型：第1个为整体网络模型，第2个为局部网络模型。
1. 整体网络模型
整体网络模型的测试图像效果如下：
2. 局部网络模型
人脸关键点被划分为不同的区域，网络输出为每个区域的关键点坐标。可以用训练好的整体网络模型的权重为初始值，微调局部网络模型时修改整体网络模型的输出。
3. 提交结果
Kaggle中挑战赛的Leaderboard更新得很快，过一段时间后反正名次很快也会被刷下去，不如趁热截图 ~ ~||。
四. 参考链接
[1] corpocrat.com/2015/02/24/facial-keypoints-extraction-using-deep-learning-with-caffe/
[2] danielnouri.org/notes/2014/12/17/using-convolutional-neural-nets-to-detect-facial-keypoints-tutorial/
[3] www.zhihu.com/question/37351143
[4] blog.csdn.net/chenriwei2/article/details/49706563
[5] blog.csdn.net/tanhongguang1/article/details/46056663