梯度下降、牛顿法、拟牛顿法

梯度下降、牛顿法、拟牛顿法都是求解无约束最优化问题的常用方法,且均是迭代算法。

基本思想

梯度下降、牛顿法、拟牛顿法_第1张图片

函数凹凸性讨论

1.当目标函数是凸函数时,梯度下降法的解释全局最优解。一般情况下,其解不保证是全局最优解。

2.当目标函数不是凸函数时,可以将目标函数近似转化成凸函数。

者用一些智能优化算法例如模拟退火,以一定的概率跳出局部极值,但是这些算法都不保证能找到最小值。

参考:

A.http://blog.sina.com.cn/s/blog_62339a2401015jyq.html 梯度下降算法

B.http://www.zhizhihu.com/html/y2011/3632.html  梯度下降:一句代码,一个式子

C.http://www.zhihu.com/question/20822481 梯度下降与最小二乘的区别

你可能感兴趣的:(梯度下降、牛顿法、拟牛顿法)