优化问题-Lagrange函数和共轭函数

利用对偶函数可以从对偶函数最大化的角度来分析原始问题的最小化，这类似于信号分析中，通过信号的频域特性来分析其时域特性。相当于对优化问题另一个维度的解释， 对偶在理解和求解优化问题中起着关键的作用

Lagrange对偶函数

标准优化问题（不一定为凸）形式：
$$\begin{array}{rl}{p}^{\star }=\min & f_0(\mathbf{x})\\ \text{ s.t. }& f_i(\mathbf{x})⩽0,i=1,\dots ,m\\ & h_i(\mathbf{x})=0,i=1,\dots ,p\end{array}$$
其中，定义域为：$\mathcal{D}=\left({\bigcap }_{i=0}^m\mathrm{dom}{f}_i\right)\cap \left({\bigcap }_{i=1}^p\mathrm{dom}{h}_i\right)$。

该问题称为原问题，未知变量称作原始变量。

Lagrange函数的定义为：
$$\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })=f_0(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{f}_i(\mathbf{x})+\sum _{i=1}^p{\nu }_i{h}_i(\mathbf{x})$$
其定义域为$\mathrm{dom}\mathcal{L}=\mathcal{D}\times {\mathbb{R}}^m\times {\mathbb{R}}^p$。$\mathbf{\lambda }={\left[{\lambda }_1,\dots ,{\lambda }_m\right]}^{\mathrm{T}}$和$\mathbf{\nu }={\left[{\nu }_1,\dots ,{\nu }_p\right]}^{\mathrm{T}}$称作对偶变量或者Lagrange乘子。

Lagrange对偶函数（或对偶函数）定义为：
$$g(\mathbf{\lambda },\mathbf{\nu })\triangleq \underset{\mathbf{x}\in \mathcal{D}}{\inf }\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })$$

注：不难发现Lagrange函数时凹函数。因为对偶函数是关于$(\mathbf{\lambda },\mathbf{\nu })$的放射函数（凹函数）的逐点下确界，因此为凹。（利用上镜图epigraph可以证明。）

其定义域为：$\mathrm{dom}g=\{(\mathbf{\lambda },\mathbf{\nu })\mid g(\mathbf{\lambda },\mathbf{\nu })>-\infty \}$

• 对偶函数和原始问题的关系：
  对于任意的$\mathbf{\lambda }⪰0$和$\mathbf{\nu }\in {\mathbb{R}}^p$，有：

$$g(\mathbf{\lambda },\mathbf{\nu })⩽p^{\star }$$

证明：假设$\tilde{\mathbf{x}}$是原问题的一个可行解，择优：

$$\mathcal{L}(\tilde{\mathbf{x}},\mathbf{\lambda },\nu )=f_0(\tilde{\mathbf{x}})+\sum _{i=1}^m{\lambda }_i{f}_i(\tilde{\mathbf{x}})+\sum _{i=1}^p{\nu }_i{h}_i(\tilde{\mathbf{x}})⩽f_0(\tilde{\mathbf{x}})$$
由此可得：
$$p^{\star }⩾f_0(\tilde{\mathbf{x}})⩾\mathcal{L}(\tilde{\mathbf{x}},\mathbf{\lambda },\mathbf{\nu })⩾\underset{\mathbf{x}\in \mathcal{D}}{\inf }\mathcal{L}(\mathbf{x},\mathbf{\lambda },\mathbf{\nu })=g(\mathbf{\lambda },\mathbf{\nu })$$

共轭函数

函数$f:{\mathbb{R}}^n\to \mathbb{R}$的共轭函数记作$f^{\ast }:{\mathbb{R}}^n\to \mathbb{R}$，定义为：

$$f^{\ast }(\mathbf{y})=\underset{\mathbf{x}\in \mathrm{dom}f}{\sup }\left({\mathbf{y}}^{\mathrm{T}}\mathbf{x}-f(\mathbf{x})\right)$$

其定义域为：$\mathrm{dom}{f}^{\ast }=\left\{\mathbf{y}\mid f^{\ast }(\mathbf{y})<\infty \right\}$

• 不难看出，无论$f(\mathbf{x})$的凹凸性，$f^{\ast }(\mathbf{y})$是一个凸函数（仿射函数的驻点最大化是凸函数）。

关于共轭函数一些重要的性质：

• 如果$f(\mathbf{x})$是可微的，则$\mathbf{y}={\nabla }_{\mathbf{x}}f\left({\mathbf{x}}^{\ast }\right)\in \mathrm{dom}{f}^{\ast }$是获得$f^{\ast }(\mathbf{y})$的必要条件。（因为共轭函数的最优值必然满足${\nabla }_{\mathbf{x}}\left({\mathbf{y}}^{\mathrm{T}}\mathbf{x}-f(\mathbf{x})\right)=0$）。
• 如果$f(\mathbf{x})$是可微且凸的，则$\mathbf{y}={\nabla }_{\mathbf{x}}f\left({\mathbf{x}}^{\star }\right)$变为了充分条件，此时有：$f^{\ast }(\mathbf{y})={\left({\mathbf{x}}^{\star }\right)}^{\mathrm{T}}{\nabla }_{\mathbf{x}}f\left({\mathbf{x}}^{\star }\right)-f\left({\mathbf{x}}^{\star }\right)$，其中${\mathrm{x}}^{\star }$由$\mathbf{y}={\nabla }_{\mathbf{x}}f\left({\mathbf{x}}^{\star }\right)$得到。（成立的原因是，共轭函数的二阶导恰好半正定，因此一阶条件满足的点必是其最优解）。

下面给出一些简单的凸函数的共轭函数：

• 仿射函数：$f(x)=ax+b\leftrightarrow f^{\ast }(y)=-b,y\in \{a\}$
• 负对数函数：$f(x)=-\log x\leftrightarrow f^{\ast }(y)=-1-\log (-y)$
• 负熵函数：$f(x)=x\log x\leftrightarrow f^{\ast }(y)=y{\mathrm{e}}^{y-1}-{\mathrm{e}}^{y-1}(y-1)={\mathrm{e}}^{y-1}$
• 严格图二次函数：$f(\mathbf{x})=\frac{1}{2}{\mathbf{x}}^{\mathrm{T}}\mathbf{Q}\mathbf{x}\leftrightarrow f^{\ast }(\mathbf{y})=\frac{1}{2}{\mathbf{y}}^{\mathrm{T}}{\mathbf{Q}}^{-1}\mathbf{y}$

一些重要的推论

• 如果$f$是闭凸函数，则有$f^{\ast \ast }=f$。

其证明也很容易，假定$f$是可微的，令$\mathbf{y}=\nabla f\left({\mathbf{x}}_0\right)\in \mathrm{dom}{f}^{\ast }$，则$f^{\ast }(\mathbf{y})$的共轭为：
$$\begin{array}{rl}{f}^{\ast \ast }(\mathbf{x})& =\underset{\mathbf{y}\in \mathrm{dom}{f}^{\ast }}{\sup }\left\{{\mathbf{x}}^{\mathrm{T}}\mathbf{y}-f^{\ast }(\mathbf{y})\right\}\\ & =\underset{{\mathbf{x}}_0\in \mathrm{dom}f}{\sup }\left\{{\mathbf{x}}^{\mathrm{T}}\nabla f\left({\mathbf{x}}_0\right)-\nabla f{\left({\mathbf{x}}_0\right)}^{\mathrm{T}}{\mathbf{x}}_0+f\left({\mathbf{x}}_0\right)\right\}\\ & =\underset{{\mathbf{x}}_0\in \mathrm{dom}}{\sup }\left\{f\left({\mathbf{x}}_0\right)+\nabla f{\left({\mathbf{x}}_0\right)}^{\mathrm{T}}\left(\mathbf{x}-{\mathbf{x}}_0\right)\right\}\\ & =f(\mathbf{x})\end{array}$$

• 即时$f$是非凸的，其共轭依然是凸函数，并且此时有$f^{\ast \ast }=g_f^{\ast \ast }=g_f$（$g_f$是函数可微非凸函数$f$的凸包络）

Lagrange对偶函数和共轭函数的关系

考虑如下仿射约束的优化问题：
$$\begin{array}{rl}& \min f_0(\mathbf{x})\\ & \text{ s.t. }\mathbf{x}=0\end{array}$$
其Lagrange函数为：$\mathcal{L}(\mathbf{x},\mathbf{\nu })=f_0(\mathbf{x})+{\mathbf{\nu }}^{\mathrm{T}}\mathbf{x}$，其对应的对偶函数为：
$$\begin{array}{rl}g(\mathbf{\nu })& =\underset{\mathbf{x}}{\inf }\left\{f_0(\mathbf{x})+{\mathbf{\nu }}^{\mathrm{T}}\mathbf{x}\right\}\\ & =-\underset{\mathbf{x}}{\sup }\left\{(-\mathbf{\nu }{)}^{\mathrm{T}}\mathbf{x}-f_0(\mathbf{x})\right\}=-f_0^{\ast }(-\mathbf{\nu })\end{array}$$
其中，$\mathrm{dom}g=-\mathrm{dom}{f}_0^{\ast }$。由于$f_0^{\ast }$是凸的，所以$g(\mathbf{\nu })$是凹的。

考虑更一般的优化问题形式：
$$\begin{array}{ll}\min & f_0(\mathbf{x})\\ \text{ s.t. }& \mathbf{A}\mathbf{x}⪯\mathbf{b},\mathbf{C}\mathbf{x}=\mathbf{d}\end{array}$$

此时有：
$$\begin{array}{rl}g(\mathbf{\lambda },\mathbf{\nu })& =\underset{\mathbf{x}}{\inf }\left\{f_0(\mathbf{x})+{\mathbf{\lambda }}^{\mathrm{T}}(\mathbf{A}\mathbf{x}-\mathbf{b})+{\mathbf{\nu }}^{\mathrm{T}}(\mathbf{C}\mathbf{x}-\mathbf{d})\right\}\\ & =-{\mathbf{b}}^{\mathrm{T}}\mathbf{\lambda }-{\mathbf{d}}^{\mathrm{T}}\mathbf{\nu }+\underset{\mathbf{x}}{\inf }\left\{f_0(\mathbf{x})+{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{\lambda }+{\mathbf{C}}^{\mathrm{T}}\mathbf{\nu }\right)}^{\mathrm{T}}\mathbf{x}\right\}\\ & =-{\mathbf{b}}^{\mathrm{T}}\mathbf{\lambda }-{\mathbf{d}}^{\mathrm{T}}\mathbf{\nu }-\underset{\mathbf{x}}{\sup }\left\{-{\left({\mathbf{A}}^{\mathrm{T}}\mathbf{\lambda }+{\mathbf{C}}^{\mathrm{T}}\mathbf{\nu }\right)}^{\mathrm{T}}\mathbf{x}-f_0(\mathbf{x})\right\}\\ & =-{\mathbf{b}}^{\mathrm{T}}\mathbf{\lambda }-{\mathbf{d}}^{\mathrm{T}}\mathbf{\nu }-f_0^{\ast }\left(-{\mathbf{A}}^{\mathrm{T}}\mathbf{\lambda }-{\mathbf{C}}^{\mathrm{T}}\mathbf{\nu }\right)\end{array}$$

其中，$\mathrm{dom}g=\left\{(\mathbf{\lambda },\mathbf{\nu })\mid -\left({\mathbf{A}}^{\mathrm{T}}\mathbf{\lambda }+{\mathbf{C}}^{\mathrm{T}}\mathbf{\nu }\right)\in \mathrm{dom}{f}_0^{\ast }\right\}$。

例如，最大熵问题：
$$\begin{array}{rl}& \max \left\{\sum _{i=1}^n{x}_i\log \frac{1}{x_i}\right\}\equiv \min \left\{f_0(\mathbf{x})\triangleq \sum _{i=1}^n{x}_i\log x_i\right\}\\ & \text{ s.t. }\mathbf{x}\in {\mathbb{R}}_{+}^n,1_n^{\mathrm{T}}\mathbf{x}=1\text{ s.t. }\mathbf{x}\in {\mathbb{R}}_{+}^n,1_n^{\mathrm{T}}\mathbf{x}=1\end{array}$$

由上面常见凸函数的共轭函数有：
$$\begin{array}{rl}{f}_0^{\ast }(\mathbf{y})& =\underset{\mathbf{x}\in {\mathbb{R}}_{+}^n}{\sup }\left\{{\mathbf{y}}^{\mathrm{T}}\mathbf{x}-f_0(\mathbf{x})\right\}\\ & =\sum _{i=1}^n\underset{x_i\in {\mathbb{R}}_{+}}{\sup }\left\{y_i{x}_i-x_i\log x_i\right\}=\sum _{i=1}^n{\mathrm{e}}^{y_i-1}\end{array}$$
其中，$\mathrm{dom}{f}_0^{\ast }={\mathbb{R}}^n$。令：$\mathbf{A}=-{\mathbf{I}}_n,\mathbf{b}=0,\mathbf{C}=1_n^{\mathrm{T}}$，则有：

$$\begin{array}{rl}g(\mathbf{\lambda },\nu )& =-\nu -f_0^{\ast }\left(\mathbf{\lambda }-1_n\nu \right)\\ & =-\nu -\sum _{i=1}^n{\mathrm{e}}^{{\lambda }_i-\nu -1}=-\nu -{\mathrm{e}}^{-\nu -1}\sum _{i=1}^n{\mathrm{e}}^{{\lambda }_i}\end{array}$$

总结：优化问题（不一定为凸）的Lagrange对偶函数可以很容易地通过共轭函数得到。