拟牛顿法

拟牛顿法

1、牛顿法

又称割线法，对 f(x+Δx)进行泰勒展开

f(x+Δx)=f(x)+f′(x)Δx+12f”(x)Δx2

对 Δx 求导，得：

f′(x+Δx)=f′(x)+f”(x)Δx

当 f′(x+Δx)=0 时

Δx=−f′(x)f”(x)

将其转换成向量的形式，得：

x¯−x¯0=−∇f(x)B(x)

其中 ∇f(x) 为雅克比向量 (Jacobian) ， B(x) 为黑塞矩阵 (Hessian)

∇f(x)=⎛⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜∂f(x)∂x1∂f(x)∂x2⋮∂f(x)∂xn⎞⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

B(x)=⎛⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜∂2f(x)∂2x1∂2f(x)∂x2∂x1⋮∂2f(x)∂xn∂x1∂2f(x)∂x1∂x2∂2f(x)∂2x2⋮∂2f(x)∂xn∂x2⋯⋯⋱⋯∂2f(x)∂x1∂xn∂2f(x)∂x2∂xn⋮∂2f(x)∂2xn⎞⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟

而梯度下降的方向为

Δx=−∇f(x)

牛顿法在梯度下降的基础上对二阶偏导数也加以利用，所以迭代的次数远小于梯度下降。 此时， ∇f(x) 代表了下降的方向，还需确定步长 α ，步长 α 的确定使用 Wolfe conditions 来选择， Wolfe conditions 如下：

f(x+αkpk)≤f(xk)+c1αkpTk∇f(xk)

−pTkαf(xk+αkpk)≤−c2pTk∇f(xk)

其中 pk 表示梯度的方向，在牛顿法中就是 ∇f(x)H(x) ， c1 的取值一般为 10−4 ， c2 的取值一般为 0.9

2、拟牛顿法

这里只介绍BFGS。
拟牛顿法的核心就是使用一个正定矩阵去拟合黑塞矩阵。BFGS直接使用正定矩阵去拟合黑塞矩阵的逆。
使用 Hk 表示第 k 次迭代的黑塞矩阵的逆， yk=∇f(xk+1)−∇f(xk) ， H 的更新公式为：

Hk+1=(I−ΔxkyTkyTkΔxk)Hk(I−ykΔxTkyTkΔxk)+ΔxkΔxTkyTkΔxk

关于上式的推导：
令

Bk+1=Hk+Pk+Qk

Bk+1Δxk=BkΔxk+PkΔxk+QkΔxk

使 Pk 和 Qk 满足 PkΔxk=yk ， QkΔxk=−BkΔxk ，可以得到适合条件的 Pk 和 Qk ：

Bk+1=Bk+ykyTkyTkΔx−BkΔxkΔxTkBkΔxTkBkΔxk

同时，也可以证明如果初始矩阵 B0 是正定的，则之后的迭代都为正定的。再通过 Sherman–Morrison formula，可得上式。