凸优化 [2]：什么是凸函数——一阶与二阶条件

凸优化 [2]：什么是凸函数——一阶与二阶条件

定义：$\forall x,y\in X$ ，$\forall \alpha \in [0,1]$ 使得：
$$\begin{array}{rlr}f(\alpha x+(1-\alpha )y)\le \alpha f(x)+(1-\alpha )f(y)& & \text{convex}\\ f(\alpha x+(1-\alpha )y)<\alpha f(x)+(1-\alpha )f(y)& & \text{strictly convex}\end{array}$$
凸函数扩充到 ${\mathbb{R}}^n$ 中：
$$\tilde{f}(x)=\{\begin{array}{ll}f(x)& \text{if x∈X}\\ \infty & \text{otherwise}\end{array}$$

凸函数：函数为凸的条件

一阶充要条件：

$$f(x)\ge f(y)+\nabla f(y{)}^T(x-y)$$

必要性：

由凸性可得：
$$\begin{array}{rl}f((\alpha x-\alpha y)+y)& \le \alpha f(x)+(1-\alpha )f(y)\\ \Downarrow \Downarrow & \\ \alpha f(x)& \ge f(\alpha (x-y)+y)-(1-\alpha )f(y)\end{array}$$
两端除以 $\alpha$ ：
$$f(x)\ge \frac{f(\alpha (x-y)+y)-(1-\alpha )f(y)}{\alpha }=f(y)+\frac{f(y+\alpha (x-y))-f(y)}{\alpha }$$
因为：（由一阶 Taylor 展开）
$$\underset{\alpha \to 0}{\lim }\frac{f(y+\alpha (x-y))-f(y)}{\alpha }=\frac{f(y)+\alpha \nabla f(y{)}^T(x-y)-f(y)}{\alpha }=\nabla f(y{)}^T(x-y)$$
因此：
$$f(x)\ge f(y)+\nabla f(y{)}^T(x-y)$$
得证 $\square$

充分性：

令 $z=\theta x+(1-\theta )y$
$$\begin{gathered} f(x)\ge f(z)+\nabla f(z{)}^T(x-z) \\ f(y)\ge f(z)+\nabla f(z{)}^T(y-z) \end{gathered}$$
则：
$$\begin{gathered} \theta f(x)+(1-\theta )f(y)\ge \left[\theta f(z)+\theta \nabla f(z{)}^T(x-z)\right]+\left[(1-\theta )f(z)+(1-\theta )\nabla f(z{)}^T(y-z)\right] \\ \Downarrow \\ \theta f(x)+(1-\theta )f(y)\ge f(z) \end{gathered}$$
因此有：
$$\theta f(x)+(1-\theta )f(y)\ge f(\theta x+(1-\theta )y)$$
得证 $\square$

二阶充要条件：

$${\nabla }^{2}f(x)⪰0$$

充分性：

由二阶 Taylor 展开：
$$f(y)=f(x)+\nabla f(x{)}^T(y-x)+\frac{1}{2}(y-x{)}^T{\nabla }^{2}f(x)(y-x)+o(\Vert y-x{\Vert }^2)$$
因为 ${\nabla }^{2}f(x)⪰0$ ，恒成立：
$$\frac{1}{2}(y-x{)}^T{\nabla }^{2}f(x)(y-x)\ge 0$$
因此：
$$f(y)\ge f(x)+\nabla f(x{)}^T(y-x)$$
由一阶条件，推出 $f$ 为凸函数。$\square$

必要性：

由二阶 Taylor 展开：
$$f(y)=f(x)+\nabla f(x{)}^T(y-x)+\frac{1}{2}(y-x{)}^T{\nabla }^{2}f(x)(y-x)+o(\Vert y-x{\Vert }^2)$$
已知函数 $f$ 为凸函数，则由一阶充要条件：
$$f(y)\ge f(x)+\nabla f(x{)}^T(y-x)$$
因此：
$$\frac{1}{2}(y-x{)}^T{\nabla }^{2}f(x)(y-x)+o(\Vert y-x{\Vert }^2)\ge 0$$
Taylor 展开余项可忽略，因此 Hessian 矩阵要满足 $\forall (y-x)\in {\mathbb{R}}^n$ 都成立，因此 ${\nabla }^{2}f(x)⪰0$ 。

得证 $\square$

将不等式的等号去掉，就是严格凸函数的证明。