头部姿态估计——adaptive gradient methods

• 《Head pose estimation in the wild using Convolutional Neural Networks and adaptive gradient methods》
  2017，Massimiliano Patacchiola, Angelo Cangelosi. adaptive gradient methods

本文使用4种最新的网络结构来训练头部姿态估计，作者也探讨dropout和adaptive gradient methods对结果性能得影响。
网络结构：

四种网络结构得细节：

对于Dropout：
The probability p is another hyperparameter to tune. However numerous experimental results suggest that a value of p = 0.5 produces the best performance , so we used this value in our experiments.

实验结果：


可以发现：Adam和RMSProp优化器效果最好。

训练阶段比较：

收敛速度比较：

小结：
可以发现，在进行CNNs训练过程中，与更传统的优化器相比，Adam和RMSProp优化器效果和收敛速度都比较好，建议使用这两种优化器。

---

注：博众家之所长，集群英之荟萃。