中科大-凸优化 笔记（lec10）-凸函数：一阶条件

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化

一、凸函数的扩展

$f:{\mathbb{R}}^n\to \mathbb{R}$为凸函数，$domf=C\subseteq {\mathbb{R}}^n$
$$\tilde{f}=\{\begin{array}{l}f(x)x\in domf\\ \\ +\infty x\notin domf\end{array}$$$$\begin{gathered} \tilde{f}:{\mathbb{R}}^n\to \mathbb{R} \\ dom\tilde{f}={\mathbb{R}}^n \end{gathered}$$

示性函数是凸函数

凸集$C\subseteq {\mathbb{R}}^n,f_C(x)=\{\begin{array}{l}无定义x\notin C\\ \\ 0x\in C\end{array}$
$$I_C(x)=\{\begin{array}{l}\infty x\notin C\\ \\ 0x\in C\end{array}{J}_C(x)=\{\begin{array}{l}1x\notin C\\ \\ 0x\in C\end{array}$$

二、一阶条件

设$f:{\mathbb{R}}^n\to \mathbb{R}$可微，即梯度$\nabla f$在$domf$上均存在，则$f$为凸，等价于：

1. $domf$为凸集
2. $f(y)\ge f(x)+\nabla f^T(x)(y-x),\forall x,y\in domf$

证明一阶条件：

考虑一维情况：$f:\mathbb{R}\to \mathbb{R}$为凸$\iff domf$为凸，且$f(y)\ge f(x)+f^{\prime }(x)(y-x)$

• 先证明（$\Rightarrow$）

$f$为凸函数，$x,y\in domf$为凸集
$\forall t0<t\le 1x+t(y-x)\in domf$
$f(x+t(y-x))\le (1-t)f(x)+tf(y)$
$tf(y)\ge tf(x)+f(x+t(y-x))-f(x)$
$f(y)\ge f(x)+\frac{f(x+t(y-x))-f(x)}{t}$
对$f(x+t(y-x))-f(x)$使用泰勒展开式，两边取极限$$\underset{t\to 0_{+}}{\lim }\Rightarrow f(y)\ge f(x)+f^{\prime }(y)(y-x)$$

• 再证明（$\Leftarrow$）

设$\forall x\ne y,x,y\in domf$
$0\le \theta \le 1$构造$z=\theta x+(1-\theta )y\in domf$
$f(x)\ge f(z)+f^{\prime }(z)(x-z)$
$f(y)\ge f(z)+f^{\prime }(z)(y-z)$
$$\underset{凸函数}{\theta f(x)+(1-\theta )f(y)\ge f(z)}+f^{\prime }(z)\underset{\theta x+(1-\theta )y-z=0}{(\theta (x-z)+(1-\theta )(y-z))}$$

下一章传送门：中科大-凸优化 笔记（lec11）-凸函数：二阶条件