最优化方法之牛顿法

最优化方法之牛顿法

最近在做期末总结复习这学期学过的模型算法，复习到逻辑回归的时候，看到西瓜书上用到的优化方法除了梯度下降法以外，还提到了牛顿法。于是我花了点时间看了一下牛顿法的相关实现，特此记录，以备遗忘。

牛顿法的简单推导

牛顿法可以理解为一种求零点的方法，也就是求方程的解。用几何的思维理解：可以想象在有一条曲线 f(x)，与 x 轴相交于一个点，我们称为曲线的根点记为 x* 。此时我们在曲线上任意找一个点 ( x0 , f(x0) ) 作它的切线记作 L0，L0与 x 轴的交点称为切线的根点记为 x1。如果我们在 x1 处作垂线交于曲线上一点，再在这个点上作它的切线记作 L1，L1与 x 轴上的交点记作 x2，接着重复上述动作，我们会发现 xi 越来越接近 x* 。那么我们用代数的方法来表示：

L0：$f(x_0)+f(x_0{)}^{\prime }(x-x_0)$

令 $f(x_0)+f(x_0{)}^{\prime }(x-x_0)$ = 0

解得：$x_1=x_0-\frac{f(x_0)}{f^{\prime }(x_0)}$

L1：$f(x_1)+f(x_1{)}^{\prime }(x-x_1)$

令 $f(x_1)+f(x_1{)}^{\prime }(x-x_1)$ = 0

解得：$x_2=x_1-\frac{f(x_1)}{f^{\prime }(x_1)}$

那么以此类推：

for {

$x_i=x_{i-1}-\frac{f(x_{(i-1)}}{f^{\prime }(x_{(i-1)})}$ }

当迭代 n 次后我们会发现 xi 不断靠近 x* ，结果越来越收敛。这是最好的一种情况，其他情况下可能会出现不收敛，甚至来回震荡。由于我们是用于凸函数的优化，故不作讨论。

优化逻辑回归模型

我们要最小化逻辑回归的损失函数：$J(w)={\sum }_{i=1}^m(-y_i{w}^{T}x+ln(1+e^{w^{T}x}))$

因为$J(w)$是凸函数，因此最小化它的方法很容易想到是令导函数为0解方程。因此我们可以用牛顿法求解$J(w{)}^{\prime }$=0 ，解法如下：

在一元的情况下，令初始点为w0：

先将$J(w)$按二阶泰勒公式展开：

$J(w)=J(w_0)+(w-w_0)J(w_0{)}^{\prime }+\frac{1}{2!}(w-w_0{)}^{2}J(w_0{)}^{\prime \prime }$

令$J(w{)}^{\prime }=0（对（w-w0）求导）$ ，则：$wi=w_{i-1}-\frac{J(w_{i-1}{)}^{\prime }}{J(w_{i-1}{)}^{\prime \prime }}$ ，通过不断迭代逼近最优解。

在多元情况下，令初始点为wk：

$J(w)$的泰勒展开式表示为：

$J(w_1...w_N)$

$=J(w_{k_1}...w_{kN})+{\sum }_{i=1}^N(w-w_i)\frac{\alpha J(w_k)}{\alpha wi}+\frac{1}{2!}{\sum }_{i=1}^N{\sum }_{j=1}^N(w-w_i)(w-w_j)\frac{\alpha J(w_k)}{\alpha w_i\alpha w_j}$

用矩阵的形式表示：

$J(w)=J(w_k)+(w-w_k){\nabla }_{w}J(w_k)+(w-w_k{)}^{T}H(w_k)(w-w_k)$

其中$H(w_k)$（Hessian矩阵）为：

$$\left[\begin{array}{ccc}\frac{\alpha J(w_k)}{\alpha w_1{w}_1}& \frac{\alpha J(w_k)}{\alpha w_1{w}_2}\cdots & \frac{\alpha J(w_k)}{\alpha w_1{w}_N}\\ ⋮& \ddots & ⋮\\ \frac{\alpha J(w_k)}{\alpha w_N{w}_1}& \frac{\alpha J(w_k)}{\alpha w_N{w}_2}\cdots & \frac{\alpha J(w_k)}{\alpha w_N{w}_N}\end{array}\right]$$

然后同样令$J(w{)}^{\prime }=0$ ，求解得：

$w_t=w_{t-1}-\frac{\alpha J(w_{t-1}{)}^{\prime }}{\alpha J(w_{t-1}{)}^{\prime \prime }}$

不断迭代上式，以逼近最优解，来最小化损失函数。