机器学习中梯度下降法和牛顿法的比较

梯度下降法用到一阶导，即目标函数变化最快的方向，牛顿法同时用到二阶导，计算梯度变化最快的方向，收敛速度更快。

梯度下降法

迭代公式为：${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J({\theta }_j)$，其中$\alpha$为步长，参数往函数极小值的方向前进。

牛顿法

作者: peghoty

出处: http://blog.csdn.net/itplus/article/details/21896453