凸优化学习-（十二）保持函数凸性的操作

凸优化学习

继续学习保持函数凸性的操作。

学习笔记

一、函数的透视

透视函数

形如：
$$\begin{gathered} p(z,t)=\frac{z}{t} \\ p:R^{n+1}\to R^n\text{dom}p\in R^n\times R_{++} \end{gathered}$$

函数透视

形如：
$$\begin{gathered} g(x,t)=tf(\frac{x}{t}) \\ f:R^n\to Rg:R^n\times R_{++}\to R\text{dom}g=\{(x,t)\mid t>0,\frac{x}{t}\in \text{dom}f\} \end{gathered}$$
结论：若$f$为凸，则$g$为凸；若$f$为凹，则$g$为凹。
例1：欧几里得范数的平方
形如：
$$f(x)=x^{T}x\text{dom}f=R_{++}$$
这是一个凸函数，其函数透视为：
$$g(x,t)=t(\frac{x}{t}{)}^T(\frac{x}{t})=\frac{x^{T}x}{t}$$
显然，$g(x,t)$对于$x,t\text{jointly convex}$。
例2：负的对数
形如：
$$f(x)=-\log (x)\text{dom}f=R_{++}$$
这是一个凸函数，其函数透视为：
$$g(x,t)=t(-\log \frac{x}{t})=t\log \frac{t}{x}\text{dom}g=R_{++}^2$$
$\log \frac{t}{x}$根据函数组合的性质一判断是凸，所以$g(x,t)$为凸。
$\text{K-L Divergence}$为凸。
$\text{K-L Divergence}$:
$$D_{KL}(u,v):=\sum _{i=1}^u(u_i\log \frac{u_i}{v_i}-u_i+v_i)$$
即非负凸函数加权和。

二、函数的共轭Conjugate

形如：
$$f^{\ast }(y)=\underset{x\in \text{dom}f}{\sup }(y^{T}x-f(x))$$
几何上可以理解为$y^{T}x$到$f(x)$的最大的距离。

性质：

• 1.若$f(x)$可微，则$f^{\ast }(y)$最大值对应的$x$必有$f^{\prime }(x)=y$
• 2.$f^{\ast }(y)$关于$y$为凸。

例1：
$$\begin{gathered} 有f(x)=ax+b\text{dom}f=R \\ \begin{array}{rl}其f^{\ast }(y)& =\underset{x\in \text{dom}f}{\sup }(yx-(ax+b))\\ & =\underset{x\in \text{dom}f}{\sup }((y-a)x-b)\\ & =\{\begin{array}{ll}+\infty & y\ne a\\ 0& y=a\end{array}\end{array} \end{gathered}$$
例2：
$$\begin{gathered} 有f(x)=-\log x\text{dom}f=R_{++} \\ 其f^{\ast }(y)=\underset{x>0}{\sup }(yx+\log x) \\ 由性质1得:-\frac{1}{x}=y\Rightarrow x=-\frac{1}{y} \\ {f}^{\ast }(y)=\{\begin{array}{ll}-1-\log (-y)& y<0\\ +\infty & y\ge 0\end{array} \end{gathered}$$
例3：
$$\begin{gathered} 有f(x)=\frac{1}{2}{x}^T\text{Q}x\text{dom}f=R^n\text{Q}\in {\text{S}}_{++}^n \\ \begin{array}{rl}其f^{\ast }(y)& =\underset{x\in \text{dom}f}{\sup }(y^{T}x-\frac{1}{2}{x}^T\text{Q}x)\\ & 由性质一得：f^{\prime }(x)=\text{Q}x=y\Rightarrow x={\text{Q}}^{-1}y\\ f^{\ast }(y)& =y^T\text{Q}y-\frac{1}{2}{y}^T({\text{Q}}^{-1}{)}^T\text{Q}{\text{Q}}^{-1}y\\ & =\frac{1}{2}{y}^T{\text{Q}}^{-1}y\end{array} \end{gathered}$$
对于共轭的一些推断：
1.复数的共轭：
$$\begin{array}{r}(a+b_j{)}^{\ast }=(a-b_j)\\ (a-b_j{)}^{\ast }=(a+b_j)\end{array}$$
2.函数的共轭的共轭不一定是它自身，因为函数的共轭一定是凸函数，那么如果函数本身不是凸函数的话，函数的共轭的共轭一定是凸的。
但是在函数为凸，且为闭函数的情况下，函数的共轭的共轭是它自身。

个人思考

举了这么多例子，想想我们是怎么判断函数是否为凸的？我们很少用定义了，最常用的就是函数组合的八条性质、非负加权和、以及一定要记住几种典型的凸函数。

纸质笔记