机器学习（六）梯度下降的优化算法和matlab/octave中的应用

本文由 @lonelyrains 出品，转载请注明出处。 
文章链接： http://blog.csdn.net/lonelyrains/article/details/49027629

为了分类，需要计算代价函数、代价函数关于参数的偏导数

共轭梯度法、BFGS、L-BFGS

优点：

不需要手动选择初始学习速率α

比梯度下降算法更快

缺点：

更加复杂  所以不需要了解细节，用一些已经实现过这些算法的库就好啦

matlab是收费的版本，octave是开源免费的版本，都是用来做工程计算的。硅谷的开发模式一般是经过matlab/octave得到demo之后，调用对应的c/c++库，实现产品化。