凸优化 [1]：梯度与次梯度

凸优化 [1]：梯度与次梯度

一元微积分中

在数学分析中，引入可微和可导的概念。（摘自《数学分析（高等教育出版社）》第四章）

可微

对函数 $y=f(x)$ ，若 $\forall x\in X$ ，若存在一个只与 $x$ 有关的数 $g(x)$ 使得：

$$\Delta y=g(x)\Delta x+o(\Delta x)$$

则称 $f(x)$ 在 $X$ 上可微。

可导

若函数 $y=f(x)$ ，若 $\forall x\in X$，极限：

$$\underset{\Delta x\to 0}{\lim }\frac{f(x+\Delta x)-f(x)}{\Delta x}$$

存在，则称 $f(x)$ 可导。

一元条件下，可导与可微是等价的，但是更高维条件下，并不是等价的。

高维梯度

一般考虑 $n$ 维 Euclid 空间。

这里说明之前可导不一定可微的情况：在高维下：

1. 可微必定可偏导
2. 可导不一定可微（若函数在任一个方向上偏导都存在，并不能说明该点可微）。反例：在 $(0,0)$ 处的全微分

$$f(x,y)=\{\begin{array}{ll}\frac{2x{y}^3}{x^2+y^4}& x^2+y^2\ne 0\\ 0& otherwise\end{array}$$

梯度

函数 $f(x)$， 其中 $x=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right]$ ，这一般是凸优化中的目标函数。若凸优化是无约束的，当梯度为 $0$ 的时候，这个点就是局部最优点。则该函数的梯度为：

$$\nabla f(x)=\left[\begin{array}{c}\frac{\partial f(x)}{\partial x_1}\\ ⋮\\ \frac{\partial f(x)}{\partial x_n}\end{array}\right]$$

梯度满足如下性质：

1. $\nabla (f(x)+g(x))=\nabla f(x)+\nabla g(x)$
2. $\nabla \alpha f(x)=\alpha \nabla f(x)$
3. $\nabla f(g(x))=\nabla g(x)\nabla f(g(x))$

高维函数的二阶导

一般在优化问题中，需要对目标函数进行二阶 Taylor 展开：

$$f(y)=f(x)+\nabla f(x{)}^T(y-x)+\frac{1}{2}(y-x{)}^T{\nabla }^{2}f(x)(y-x)+o(\Vert y-x{\Vert }^2)$$

这里就用到了高位函数的二阶导（Hessian矩阵）。

$$H={\nabla }^{2}f(x)=\left[\begin{array}{ccc}\frac{{\partial }^{2}f(x)}{\partial x_1\partial x_1}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_1\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_1}& \cdots & \frac{{\partial }^{2}f(x)}{\partial x_n\partial x_n}\end{array}\right]\in {\mathbb{R}}^{n\times n}$$

Hessian 矩阵满足性质：$H^T=H$。对于对称矩阵，可以进行谱分解。严格凸函数来说，Hessian 一定对称正定的。根据对称矩阵谱分解的性质，可以推出Hessian 所有特征值都是正的。

Hessian 矩阵的性质：

1. ${\nabla }^2\alpha f(x)=\alpha {\nabla }^{2}f(x)$
2. ${\nabla }^2(f(x)+g(x))={\nabla }^{2}f(x)+{\nabla }^{2}g(x)$

向量值函数

对于向量值函数 $f(x)=\left[\begin{array}{c}{f}_1(x)\\ ⋮\\ f_m(x)\end{array}\right]$， 其中 $x=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right]$ ，这类函数经常作为凸优化中的约束函数出现。该函数的导函数为一个 Jacobi 矩阵：

$$\nabla f(x)=\left[\begin{array}{ccc}\frac{\partial f_1(x)}{\partial x_1}& \cdots & \frac{\partial f_1(x)}{\partial x_n}\\ ⋮& \ddots & ⋮\\ \frac{\partial f_m(x)}{\partial x_1}& \cdots & \frac{\partial f_m(x)}{\partial x_n}\end{array}\right]\in {\mathbb{R}}^{m\times n}$$

次梯度

对于 Lagrange 对偶问题来说，因为求解的是上界的下界，会有不连续点的出现，在这个时候，就会出现梯度不存在的情况。因此这里引入了次梯度的概念：

由凸函数满足的不等式：

$$f(y)\ge \nabla f(x{)}^T(y-x)$$

可以类似的推出次梯度的形式：

$$f(y)\ge g^T(y-x),\forall y$$

给定 $x$ ，满足上式的 $g$ 的集合就是次梯度，记作 $\partial f=g$ 。次梯度是一个集合，如果梯度存在，则次梯度内只存在一个元素：就是梯度本身。

次梯度满足的性质：

1. $\partial (\alpha f)=\alpha \partial f$
2. $\partial (f_1+f_2)=\partial f_1+\partial f_2$
3. 若 $g(x)=f(Ax+b)$ 则： $\partial g(x)=A^T\partial f(Ax+b)$。注：这里形式上与梯度类似，但只限于仿射变换形式下才成立。