牛顿法及拟牛顿法(L-BFGS)

为了搞懂L-BFGS,发现资料很少。

注意点:在牛顿法中,当H(x)是正定矩阵的时候,函数f(x)的极值为极小值。

由于很多H(x)都是非正定的,所以引入了拟牛顿法。

在拟牛顿法中,令x=xk,这样就得到了式子(5),这个式子在李航的书中没有给出具体解释,这里我秒懂了。。。式子(5)上方的文字也很重要。可以利用s和y来表示H。。

牛顿法及拟牛顿法(L-BFGS)_第1张图片


L-BFGS的基本思想是存储有限次数(如次)的更新矩阵,如果 > 的话就舍弃次以前的,也即L-BFGS的记忆只有次。如果,则L- BFGS等价于标准的BFGS公式。

参考链接及文献:

http://blog.pfan.cn/miaowei/52925.html

李航的《统计学习方法》附录B


你可能感兴趣的:(牛顿法及拟牛顿法(L-BFGS))