陈宝林《最优化理论与算法》超详细学习笔记 （一）————第十章 使用导数的最优化方法（最速下降法、牛顿法、阻尼牛顿法）

写在前面

最优化理论与算法是一个重要的数学分支，顾名思义，这是一门研究在众多解决方案中确定什么样的方案是最优方案以及如何找到最优方案的学科。现如今，随着计算机科学的飞速发展，最优化理论与算法也迅速发展起来，成为了求解的有力工具，发挥着越来越来的作用。于是，为了给机器学习提供有力的理论支撑，现以清华大学出版社出版、 陈宝林编著的《最优化理论与算法》 为教材，开始学习这门课。学习的顺序根据同时在学习的《机器学习》的需要有所调整。

第十章 使用导数的最优化方法

在解决无约束问题的算法中，大致可以分为两类：一类要利用目标函数的导数，另一类只用到目标函数，称为直接方法。本章学习的是前一类使用导数的最优化方法中的最速下降法、牛顿法、阻尼牛顿法。

最速下降法

为了求解目标函数的最小值时，从点$x_0$出发，我们可以自然地想到沿着函数值在$x_0$点下降最快的方向有利于尽快找到极小值点，于是数学家们根据这一思想提出了最速下降法。
对于刚刚说的“下降最快方向”，根据高等数学知识，一般地（指欧式度量意义）在负梯度方向下为最速下降方向，即：
$$\text{d}=-\nabla f(\text{x})$$
回到刚开始的设想，现在我们找到了下降最快的方向来寻找最小值点，显然我们要经过多次寻找来逐渐逼近极小值点，所以要从${\text{x}}_0$沿最速下降方向搜索多远找到下一个点${\text{x}}_1$呢？
我们不妨假设变量，称为一维搜索的步长：
$${\text{x}}_1={\text{x}}_0+\lambda {\text{d}}_0$$
也就是说$x_1$是关于的变量，那么$f({\text{x}}_1)$也是关于的变量，由于求目标函数的最小值，所以我们在此令$f({\text{x}}_1)$取最小值，求此时的，即：
$${\lambda }_0=\underset{\lambda }{\mathrm{argmax}}f(x_1)$$

于是，我们可以得到，以此类推：
$${\text{x}}_2={\text{x}}_1+{\lambda }_1{\text{d}}_1$$
$$\dots \dots$$
当最速下降方向的模足够小时，我们认为已经足够逼近最小值点，即：
$$\Vert {\text{d}}_k\Vert <ϵ$$
停止迭代,最小值点为${\text{x}}_k$。

所以，最速下降算法步骤为：

1. 给定初始点${\text{x}}_0$，允许误差$ϵ>0$，置$k=0$；
2. 计算搜索方向${\text{d}}_k=-\nabla f({\text{x}}_k)$；
3. 如果$\Vert {\text{d}}_k\Vert <ϵ$，则停止运算；否则，从${\text{x}}_k$出发，沿${\text{d}}_k$进行一维搜索${\text{x}}_{k+1}={\text{x}}_k+{\lambda }_k{\text{d}}_k$，其中${\lambda }_k=\underset{\lambda }{\mathrm{argmax}}f(x_k)$
4. 得到${\text{x}}_{k+1}$，置$k=k+1$；转到步骤2；

牛顿法

第二种方法是牛顿法，我们先来看下图。

对于函数$y=f(x)$,我们希望找到它的其中一个零点$x_0$。
于是我们从任意一点$x_1$出发，
从点$x_1$作曲线的切线，切线与$y$轴交于$x=x_2$；
再从点$x_2$作曲线的切线，切线与轴交于$x=x_3$；
$$\dots \dots \dots \dots$$
可以看到$x_1,x_2,x_3,...,x_n$逐渐向$x_0$逼近。
我们根据切线的表达式
$$y-f(x_k)=f^{\prime }(x_k)(x-x_k)$$
令$y=0$，可以解得：
$$x_{k+1}=x_k-\frac{f(x_k)}{f^{\prime }(x_k)}$$

这就是牛顿法的图形解释，下面是数学推导。
数学推导：
对于函数$f(x)$，假设$x_k$是$f(x)$极小值点的一个估计，我们将$f(x)$在$x=x_k$处展开，得到：
$$f(x)\approx \varphi (x)=f(x_k)+f^{\prime }(x_k)(x-x_k)+\frac{1}{2}{f}^{\prime \prime }(x_k)(x-x_k{)}^2$$
为求$\varphi (x)$的平稳点，便要使一阶导数等于零，令：$${\varphi }^{\prime }(x)=0$$

即：$${\varphi }^{\prime }(x)=f^{\prime }(x_k)+f^{\prime \prime }(x_k)(x-x_k)=0$$

整理出$x$的表达式，为：
$$x=x_k-\frac{f^{\prime }(x_k)}{f^{\prime \prime }(x_k)}$$
我们将上式作为的迭代公式，即：
$$x_{k+1}=x_k-\frac{f^{\prime }(x_k)}{f^{\prime \prime }(x_k)}$$
这里的$f^{\prime }(x)$其实就相当于图形中的$f(x)$即需要找到零点的函数，且表达式与切线方程推导出的是相同的。
我们将其推广到高维函数，得：
$${\text{x}}_{k+1}={\text{x}}_k-{{\nabla }^{2}f({\text{x}}_k)}^{-1}\nabla f({\text{x}}_k)$$
并且可以证明牛顿法是收敛的。（略）

阻尼牛顿法

阻尼牛顿法与牛顿法的区别在${\text{x}}_{k+1}={\text{x}}_k-{{\nabla }^{2}f({\text{x}}_k)}^{-1}\nabla f({\text{x}}_k)$的迭代公式中，仿照最速下降法的方法,加入参数$\lambda$作为一维搜索步长，即:
$${\text{x}}_{k+1}={\text{x}}_k-{\lambda }_k{{\nabla }^{2}f({\text{x}}_k)}^{-1}\nabla f({\text{x}}_k)$$
这样看来拟牛顿法与最速下降法的区别就只是将最速下降下降方向-∇(${}_k$)替换成牛顿方向$-{\lambda }_k{{\nabla }^{2}f({\text{x}}_k)}^{-1}\nabla f({\text{x}}_k)$。
类似最速下降法，我们得到阻尼牛顿法的算法步骤：

1. 给定初始点${\text{x}}_0$，允许误差$ϵ>0$，置$k=0$；
2. 计算搜索方向${\text{d}}_k=-{\lambda }_k{{\nabla }^{2}f({\text{x}}_k)}^{-1}\nabla f({\text{x}}_k)$；
3. 如果$\Vert {\text{d}}_k\Vert <ϵ$，则停止运算；否则，从${\text{x}}_k$出发，沿${\text{d}}_k$进行一维搜索${\text{x}}_{k+1}={\text{x}}_k+{\lambda }_k{\text{d}}_k$，其中${\lambda }_k=\underset{\lambda }{\mathrm{argmax}}f(x_k)$
4. 得到${\text{x}}_{k+1}$，置$k=k+1$；转到步骤2；

另外一篇对数几率回归的博客中，使用 python实现了牛顿法以计算目标函数最小值
周志华《机器学习》西瓜书 小白Python学习笔记（二）————第三章 线性模型 （对数几率回归）附课后题3.3详解

阻尼牛顿法相比牛顿法的优势在于，阻尼牛顿法可以保证每次迭代后函数值下降或不变。可以证明阻尼牛顿法在适当的条件下具有全局收敛性，且为2级收敛。

注：教材中一般表示为${\text{x}}^{(k)}$，本文表示为${\text{x}}_k$.