次导数（次梯度）简介

次导数

定义：若$f(x)$是一个凸函数，则称$\partial f=\{v|f(x)\ge f(x_0)+v^T(x-x_0)\}$ 为$f(x)$在$x_0$处的次导数（次梯度）。其中$v^T(x-x_0)$是广义的内积，不一定是在欧氏空间内。

容易看出，若$f(x)$在$x_0$处可导，那么由定义，$f(x)-f(x_0)=f^{\prime }(x_0{)}^T(x-x_0)+o(\Vert x-x_0\Vert )\ge v^T(x-x_0)$，从而导数$f^{\prime }(x_0)$就是$f(x)$在$x_0$处的次导数；而其他情况下，$f(x)$的次导数一般是一个集合。

从几何上看，我们可以在$x_0$点处作一条或无数条全部位于$f(x)$图像下方的直线，而次导数就是这些直线的斜率的集合。当点可导时，这样的直线有且仅有一条，就是该处的切线。

例如，对于有尖点的绝对值函数，在0点处的次导数就是$\{v\in \mathbb{R}||x|\ge vx\}=[-1,1]$。$L_2$范数在$x=0$处梯度不存在（趋于$\infty$），但其次梯度为$\{v\in {\mathbb{R}}^n|\Vert x\Vert \ge v^{T}x\}$，也就是满足$\Vert v\Vert \le 1$的所有可能的向量。

提出次导数的关键目的在于，使得对于不那么光滑的函数也能够给出取极值的条件：

定理：若$f(x)$是一个凸函数，且在$x_0$的邻域内次导数存在，则$x_0$为$f(x)$的极值点的必要条件为$0\in \partial f$

我们回顾可导的情况，极值的必要条件是该点的切线是水平的，即斜率为0。所以结合次导数的几何意义我们知道，这个定理说的就是，在极小值点，我们可以做一条水平的直线，使其全部位于$f(x)$的下方。

同理，我们可以将KKT条件中的Stationarity从$\nabla \mathcal{L}(x,\lambda )=0$改为$0\in \partial \mathcal{L}(x,\lambda )$。尤其是当约束当中含有像绝对值函数或者$L_1$范数这种有不可导点的函数时，次导数就会变得很有用。