凸优化学习-（十）凸函数的例子

凸优化学习

今天是凸函数的举例和讨论

学习笔记

一、指数函数

形如：
$$f(x)=e^{ax}$$
是凸函数。

二、幂函数

形如：
$$f(x)=x^{a}x\in R_{++}$$
其二阶偏导为：
$${\nabla }^{2}f(x)=\{\begin{array}{ll}\ge 0& a\ge 1或a\le 0\\ \le 0& 0\le a\le 1\end{array}$$
二阶偏导大于零时为凸函数。

绝对值的幂函数

形如：
$$f(x)=|x{|}^{p}x\in R_{++}$$
其二阶偏导为：
$${\nabla }^{2}f(x)=\{\begin{array}{ll}p(p-1)x^{p-2}& x\ge 0\\ p(p-1)x^{p-2}& x\le 0\end{array}$$
这里分类讨论是因为一阶偏导有负号，二阶偏导又消失了，所以是一样的结果。
可以得出：
$$\{\begin{array}{ll}p>1& 凸\\ p=1& 不可微但为凸\\ p<1& 需讨论\end{array}$$

三、对数函数

形如：
$$f(x)=\text{ln}xx\in R_{++}$$
一定是凸函数。

负熵

形如：
$$f(x)=x\text{ln}x$$
其二阶偏导为：
$${\nabla }^{2}f(x)=\frac{1}{x}>0$$
为严格凸函数。

四、范数

有$R^n$空间的范数$p(x)x\in R^n$，其满足：
$$\{\begin{array}{ll}& 1.p(ax)=|a|p(x)\\ & 2.p(x+y)\le p(x)+p(y)\\ & 3.p(x)=0\iff x=0\end{array}$$
其中性质2被称为三角不等式。
证明：有$R^n$空间的范数为凸函数。
对$\forall x,y\in R^{n}0\le \theta \le 1$
根据性质2：$p(\theta x+(1-\theta )y\le p(\theta x)+p((1-\theta )y)$
根据性质3，上式右边等于：$\theta p(x)+(1-\theta )p(y)$
所以其为凸函数。
注意
零范数不是范数，也不是凸函数，只是表示矩阵稀疏情况而已。

五、极大值函数

形如：
$$f(x)=\text{max}\{x_1,\cdots ,x_n\}x\in R^n$$
一定是凸函数。
证明：
对于$\forall x,y\in R^n\forall 0\le \theta \le 1$
$$\begin{array}{rl}f(\theta x+(1-\theta )y)& =\max \{\theta x_i+(1-\theta )y_i,i=1,\cdots ,n\}\\ & \le \theta \max \{x_i,i=1,\cdots ,n\}+(1-\theta )\max \{y_i,i=1,\cdots ,n\}\\ & =\theta f(x)+(1-\theta )f(y)\end{array}$$
主要思想就是分部和极大小于等于分部极大和。
例1：极小极大问题
形如：
$$\underset{x}{\min }\underset{y}{\max }f(x,y)$$
是个凸问题。
例2：解析逼近
因为极大值函数是没办法求导的，因此求值很困难，这里提出一种函数可以逼近极大值函数，它是一个凸函数。
$\text{log-sum-up}$函数，形如：
$$f(x)=\log (e^{x_1},+\cdots +e^{x_n})x\in R$$
对于一个极大值函数和$\text{log-sum-up}$函数，有：
$$\max \{x_1,\cdots ,x_n\}\le f(x)\le \max \{x_1,\cdots ,x_n\}+\log n$$
近似误差最大为$\log n$。

六、几何平均

形如：
$$f(x)=(x_1,\cdots ,x_n{)}^{\frac{1}{n}}x\in R_{++}^n$$
是凹函数。
例1：行列式的对数
形如：
$$f(x)=\log \det (x)\text{dom}f=S_{++}^n$$
是凹函数。

个人思考

判断函数是否为凸函数，主要使用定义一和定义三（二阶条件）。其中，如果函数可微，那么肯定是二阶条件优先。

纸质笔记