凸优化学习笔记 6：共轭函数

个人博客地址 Glooow，欢迎光临~~~

1. 共轭函数

1.1 定义

一个函数 $f$ 的共轭函数(conjugate function) 定义为
$$f^{\ast }(y)=\underset{x\in \text{dom}f}{\sup }(y^{T}x-f(x))$$

$f^{\ast }$ 是凸函数，证明也很简单，可以看成是一系列关于 $y$ 的凸函数取上确界。

Remarks：实际上共轭函数与前面讲的一系列支撑超平面包围 $f$ 很类似，通过 $y$ 取不同的值，也就获得了不同斜率的支撑超平面，最后把 $f$ 包围起来，就好像是得到了 $\text{epi }f$ 的一个闭包，如下图所示

1.2 性质

关于共轭函数有以下性质

1. 若 $f$ 为凸的且是闭的($\text{epi }f$ 为闭集)，则 $f^{\ast \ast }=f$ (可以联系上面提到一系列支撑超平面)
2. (Fenchel’s inequality) $f(x)+f^{\ast }(y)\ge x^{T}y$，这可以类比均值不等式
3. (Legendre transform)如果 $f\in C^1$，且为凸的、闭的，设 $x^{\ast }=\arg \max \{y^{T}x-f(x)\}$，那么有 $x^{\ast }=\nabla f^{\ast }(y)⟺y=\nabla f(x^{\ast })$。这可以用来求极值，比如 $\min f(x)⟹0=\nabla f(x)⟺x=\nabla f^{\ast }(0)$

1.3 例子

常用的共轭函数的例子有

负对数函数 $f(x)=-\log x$
$$\begin{array}{rl}{f}^{\ast }(y)& =\underset{x>0}{\sup }(xy+\log x)\\ & =\{\begin{array}{ll}-1-\log (-y)& y<0\\ \infty & \text{ otherwise }\end{array}\end{array}$$
凸二次函数 $f(x)=(1/2)x^{T}Qx$ with $Q\in {\mathbf{S}}_{++}^n$
$$\begin{array}{rl}{f}^{\ast }(y)& =\underset{x}{\sup }\left(y^{T}x-(1/2)x^{T}Qx\right)\\ & =\frac{1}{2}{y}^T{Q}^{-1}y\end{array}$$
指示函数 $I_S^{\ast }(y)=\sup \{y^{T}x|x\in S\},I_S(x)=0$ on $\text{dom}{I}_S=S$

log-sum-exp 函数 $f(x)=\log \sum \exp x_i$
$$f^{\ast }(y)=\{\begin{array}{ll}{\sum }_{i=1}^n{y}_i\log y_i& \text{ if }y⪰0\text{ and }{1}^{T}y=1\\ \infty & \text{ otherwise. }\end{array}$$
范数 $f(x)=\Vert x\Vert$
$$f^{\ast }(y)=\{\begin{array}{ll}0& \Vert y{\Vert }_{\ast }\le 1\\ \infty & \text{ otherwise }\end{array}$$
范数平方 $f(x)=(1/2)\Vert x{\Vert }^2$
$$f^{\ast }(y)=(1/2)\Vert y{\Vert }_{\ast }^2$$