中科大-凸优化 笔记（lec11）-凸函数：二阶条件

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化

一、凸函数的定义（复习）

1. $f:{\mathbb{R}}^n\to \mathbb{R}$ 为凸函数$\iff domf$为凸集
   $$\forall x,y\in domf,0\le \theta \le 1有f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$$

2. （高维情况）$f:{\mathbb{R}}^n\to \mathbb{R}$为凸函数$\iff domf$为凸集$$\begin{gathered} \forall x\in domf\forall 方向向量v \\ g(t)=f(x+tv)为凸函数domg=\{t|x+tv\in domf\}（降维） \end{gathered}$$

3. $f:{\mathbb{R}}^n\to \mathbb{R}$为凸函数$\iff domf$为凸集
   若$f$可微，$\forall x,y\in domf,f(y)\ge f(x)+\nabla f^T(x)(y-x)$

（一维）$f:\mathbb{R}\to \mathbb{R}$可微，$f$为等价于$domf$为凸，$\forall x,y\in domf,f(y)\ge f(x)+f(x)(y-x)$

二、高维情况的证明

• 证明（$\Rightarrow$）
  设$f$为凸，考虑$x,y\in domf$
  $$g(t)=f(ty+(1-t)x)=f(x+t(y-x))$$其中$ty+(1-t)x$看作仿射组合
  $$g^{\prime }(t)=\nabla f^T(x+t(y-x))(y-x)$$
  $$g(t_1)\ge g(t_2)+g^{\prime }(t_2)(t_1-t_2)$$对$\forall t_1,t_2$成立
  令$t_1=1,t_2=0$
  得到$$\begin{gathered} g(1)\ge g(0)+g^{\prime }(0) \\ f(y)\ge f(x)+\nabla f^T(y-x) \end{gathered}$$

• 证明（$\Leftarrow$）
  $$\begin{gathered} \forall x,y\in domf,\forall t \\ ty+(1-t)x\in domf \\ \tilde{t}y+(1-\tilde{t})x\in domf \end{gathered}$$
  $$\begin{gathered} f(ty+(1-t)x)\ge f(\tilde{t}y+(1-\tilde{t})x)+\nabla f^T(\tilde{t}y+(1-\tilde{t})x)(ty+(1-t)x-\tilde{t}y-(1-\tilde{t})x) \\ \ge f(\tilde{t}y+(1-\tilde{t})x)+\nabla f^T(\tilde{t}y+(1-\tilde{t})x)(y-x)(t-\tilde{t}) \end{gathered}$$

又已知$$\begin{gathered} g(t)=f(ty+(1-t)x) \\ g(\tilde{t})=f(\tilde{t}y+(1-\tilde{t})x) \\ {g}^{\prime }(\tilde{t})=\nabla f^T(\tilde{t}y+(1-\tilde{t})x)(y-x) \end{gathered}$$

所以$$g(t)\ge g(\tilde{t})+g^{\prime }(t)(t-\tilde{t})f(x)是凸函数$$

三、二阶条件

若$f:{\mathbb{R}}^n\to \mathbb{R}$二阶可微，则$f$为凸函数
$\iff domf$为凸集，${\nabla }^{2}f(x)⪰0,\forall x\in domf$，其中${\nabla }^{2}f(x)$为Hessian矩阵

${\nabla }^{2}f(x)\succ 0\Rightarrow 严格凸函数\Leftarrow \times$

$$\begin{gathered} f(x)=x^4 \\ {f}^{\prime \prime }(x)=12x^2 \\ {f}^{\prime \prime }(0)=0 \end{gathered}$$
是严格凸函数，但是$f^{\prime \prime }(0)=0$。

下一章传送门：中科大-凸优化 笔记（lec12）-一些常见的凸函数