凸优化学习-（二十五）无约束优化算法——最速下降法

凸优化学习

最速下降法实为最陡下降法，收敛性质类似于梯度下降法。

学习笔记

一、最速下降法

定义一个和$x^k$同维度的向量$v$，那么有：
$$\underset{x}{\min }f(x)\iff \text{Repeat}\underset{v}{\min }f(x^k+v)$$
就是一个全局分解为每一步，我们都要寻找一个向量$v$使得$x^k+v$也就是$x^{k+1}$最小。我们对$f(x^k+v)$泰勒展开，同时可以求得方向$d^k$，得到最速下降法：
$$\begin{array}{rl}{d}^k& =\arg \underset{v}{\min }\{f(x^k)+\nabla f^T(x^k)v|\Vert v\Vert =1\}\\ {\alpha }^k& =\{\begin{array}{l}\text{Exact line search}\\ \text{Inexact line search}\end{array}\end{array}$$
当$v$的模取$1,2,\infty$时，就有了最速下降法的三种形式。

1.$d^k=\arg \min \{\nabla f^T(x)v|\Vert v{\Vert }_2=1\}$

此时$v$为负梯度方向，类似于梯度下降法。j就是一个模为1的方向。

2.$d^k=\arg \min \{\nabla f^T(x)v|\Vert v{\Vert }_1=1\}$

此时$v$的分量绝对值之和为1，那么使$\nabla f^T(x)v$最小的$v$就是除了$\nabla f^T(x)$某个绝对值最大分量对应的一项绝对值为1、符号与$\nabla f^T(x)$该项相反外，其余为零的$v$。也就是说，在这个方式下，函数是沿着某个坐标轴方向下降的（其它坐标轴对应的分量都为0），这个方向是$\nabla f^T(x)$沿坐标轴分解后，下降最快的方向，也就是最陡下降法。

3.$d^k=\arg \min \{\nabla f^T(x)v|\Vert v{\Vert }_{\infty }=1\}$

此时$v$的绝对值最大的分量为1，那么，此时$v$的取值就是当$\nabla f(x)$在某坐标轴方向为正值，对应$v$的分量为$-1$，反之亦然。

二、最速下降法的变种（坐标轮换法）

由于算梯度是一件比较有困难的事情，那么在$\Vert v{\Vert }_1=1$时，反正你都是沿着某个坐标轴方向下降，那不如我几个坐标轴轮着试试。有：
$$d^k=e\text{mod}(k,n)$$
其中$e$为单位向量，就是某个分量为1其余为0，$\text{mod}$是取模运算，用于轮转方向。

这个方法的特点是局部函数值不一定下降，但总体是收敛的。
一般形式：

Block Coordinate Descent（分块坐标轮换法）

$$\min f(x,y)\iff \{\begin{array}{l}{x}^{k+1}=\arg \underset{x}{\min }f(x,y^k)\\ y^{k+1}=\arg \underset{y}{\min }f(x^k,y)\end{array}$$
即固定$x,y$中的一个，沿着另一个方向优化，适用于$f(x,y)$很复杂，但分开优化很简单的情况。

个人思考

最速下降法可以说也是很经典很简单的方法了，坐标轮换法虽然简单，但鲁棒性较低，如果任务不复杂的情况下可以使用。

纸质笔记