对优化算法的一些感想

1：今天早上阅读了on optimization methods for deep learning这篇paper，是andrew NG组的博士的一篇paper，这篇paper介绍了L-BFGS，CG（共轭梯度）和SGD算法。

2：个人感受最深的就是，我对CG没用过，用L-BFGS最多，SGD是最想用的，但是往往找不到好的模型参数。L-BFGS当样本过多的时候运行非常慢，调一次参数太慢了，SGD速度倒是很快，但是往往结果的差异性很大，没法找到那组参数。

3：在文中作者给了很多的experiment，发现L-BFGS和CG的效果是最好的，效果好指的有2个方面：达到一样的精度的时候用的时间最少；用的时间一样的多的时候，精度最高。

并且作者给出了实验中用L-BFGS的话，使用mini-batch，也就是类似SGD的训练方法，这样可以让L-BFGS速度也很快，精度也很高，同时这篇paper也给的有源代码，我好好阅读下再来说下怎么做。

4：最近在准备一组数据，看来还是可以用L-BFGS了，只需要参考一下训练的一些strategy就好了。哈哈。。