拉格朗日对偶问题（Lagrange duality）

引言：尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识。

---

1.原始问题

假设$f(x),c_i(x),h_j(x)$是定义在$R^n$上的连续可微函数，考虑约束最优化问题：

$$\begin{array}{rl}\underset{x\in R^n}{\min }& f(x)\\ s.t.& c_i(x)\le 0,i=1,2,\dots ,k\\ & h_j(x)=0,j=1,2,\dots ,k\end{array}$$

称为约束最优化问题的原始问题。
现在如果不考虑约束条件，原始问题就是：

$$\underset{x\in R^n}{\min }f(x)$$

因为假设其连续可微，利用高中的知识，对$f(x)$求导数，然后令导数为0，就可解出最优解很简单. 但是问题来了，这里有约束条件，必须想办法把约束条件去掉才行， 拉格朗日函数派上用场了。

---

引进广义拉格朗日函数（generalized Lagrange function）:

$$\mathcal{L}(x,\alpha ,\beta )=f(x)+\sum _{i=0}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$

不要怕这个式子，也不要被拉格朗日的名字给唬住了，让我们慢慢剖析！这里，$x=(x^{(1)},x^{(2)},\dots ,x^{(n)})\in R^n,{\alpha }_i,{\beta }_j$是拉格朗日乘子（其实就是上面函数中的参数而已），特别要求${\alpha }_i\ge 0$。

---

现在，如果把$\mathcal{L}(x,\alpha ,\beta )$看作是关于${\alpha }_i,{\beta }_j$的函数，要求其最大值，即

$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )$$

再次注意$\mathcal{L}(x,\alpha ,\beta )$是一个关于${\alpha }_i,{\beta }_j$的函数，优化就是确定${\alpha }_i,{\beta }_j$的值使得$\mathcal{L}(x,\alpha ,\beta )$取得最大值（此过程中把$x$看做常量），确定了${\alpha }_i,{\beta }_j$的值，就可以得到$\mathcal{L}(x,\alpha ,\beta )$的最大值，因为${\alpha }_i,{\beta }_j$已经确定，显然最大值$\max\limits_{\alpha,\beta:\alpha_i \ge 0}\mathcal{L}(x,\alpha,\beta) $就是<fontcolor=redsize=3>只和$x$有关的函数，定义这个函数为：

$${\theta }_P(x)=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )$$

其中

$$\mathcal{L}(x,\alpha ,\beta )=f(x)+\sum _{i=0}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$

---

下面通过$x$是否满足约束条件两方面来分析这个函数:

• 考虑$x$不满足原始的约束，即存在$c_i(x)>0$或者$h_j(x)\ne 0$的情况，则：
  $$\begin{array}{rl}{\theta }_P(x)& =\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }[f(x)+\sum _{i=0}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)]\\ & =+\infty \end{array}$$

注意通过${\alpha }_i,{\beta }_j$最大化${\theta }_P$的过程中，若$c_i(x)>0$，可令${\alpha }_i\to +\infty$，若$h_j(x)\ne 0$，很容易取值使得${\beta }_j{h}_j(x)\to +\infty$，即不满足原始约束时，${\theta }_P(x)$的结果为无穷大。

• 考虑$x$满足原始的约束，则：

$$\begin{array}{rl}{\theta }_P(x)& =\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }[f(x)+\sum _{i=0}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)]\\ & =\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }[f(x)]=f(x)\end{array}$$

通过${\alpha }_i,{\beta }_j$最大化${\theta }_P$的过程中，由于$h_j(x)=0$，无论${\beta }_j$取何值，第三项可直接消去。若$c_i(x)\le 0$最大化${\theta }_P$时${\alpha }_i$只能取值为0，这样第二项也可以消去。将$f(x)$看成一个常量，常量的最大值就是其本身。

---

通过上面两条分析可以得出：

$${\theta }_P(x)=\{\begin{array}{ll}f(x),& x满足原始问题约束\\ +\infty ,& 其他\end{array}$$

那么在满足约束条件下：

$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }L(x,\alpha ,\beta )=\underset{x}{\min }f(x)$$

即$\underset{x}{\min }{\theta }_P(x)$与原始优化问题等价,所以$\underset{x}{\min }{\theta }_P(x)$常用代表原始问题，下标 P 表示原始问题，定义原始问题的最优值：

$$p^{\ast }=\underset{x}{\min }{\theta }_P(x)$$

---

原始问题讨论就到这里，做一个总结：通过拉格朗日的办法重新定义一个无约束问题这个无约束问题等价于原来的约束优化问题，从而将约束问题无约束化！

---

2.对偶问题

定义关于$\alpha ,\beta$的函数：

$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )$$

注意等式右边是关于$x$的函数的最小化，确定$x$以后，最小值就只与$\alpha ,\beta$有关，所以是一个关于$\alpha ,\beta$的函数.

---

考虑极大化${\theta }_D(\alpha ,\beta )=\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )$，即

$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )$$

这就是原始问题的对偶问题，再把原始问题写出来：

$$\underset{x}{\min }{\theta }_P(x)=\underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )$$

形式上可以看出很对称，只不过原始问题是先固定$\mathcal{L}(x,\alpha ,\beta )$中的$x$，优化出参数$\alpha ,\beta$，再优化最优$x$，而对偶问题是先固定$\alpha ,\beta$，优化出最优$x$，然后再确定参数$\alpha ,\beta$。

定义对偶问题的最优值：

$$d^{\ast }=\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )$$

---

3. 原始问题与对偶问题的关系

定理：若原始问题与对偶问题都有最优值，则

$$\begin{array}{rl}{d}^{\ast }& =\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )\\ & \le \underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )=p^{\ast }\end{array}$$

证明：对任意的和，有
$$\begin{array}{rl}{\theta }_D(\alpha ,\beta )& =\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )\le \mathcal{L}(x,\alpha ,\beta )\\ & \le \underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )={\theta }_P(x)\end{array}$$

即

$${\theta }_D(\alpha ,\beta )\le {\theta }_P(x)$$

由于原始问题与对偶问题都有最优值，所以

$$\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }{\theta }_D(\alpha ,\beta )\le \underset{x}{\min }{\theta }_P(x)$$

即

$$\begin{array}{rl}{d}^{\ast }& =\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\underset{x}{\min }\mathcal{L}(x,\alpha ,\beta )\\ & \le \underset{x}{\min }\underset{\alpha ,\beta :{\alpha }_i\ge 0}{\max }\mathcal{L}(x,\alpha ,\beta )=p^{\ast }\end{array}$$

也就是说原始问题的最优值不小于对偶问题的最优值，但是我们要通过对偶问题来求解原始问题，就必须使得原始问题的最优值与对偶问题的最优值相等，于是可以得出下面的推论：

推论：设$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的可行解，如果$d^{\ast }=p^{\ast }$，那么$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$都是原始问题和对偶问题的最优解。

所以，当原始问题和对偶问题的最优值相等：$d^{\ast }=p^{\ast }$时，可以用求解对偶问题来求解原始问题（当然是对偶问题求解比直接求解原始问题简单的情况下），但是到底满足什么样的条件才能使得$d^{\ast }=p^{\ast }$呢，这就是下面要阐述的KKT 条件。

---

4. KKT 条件

定理：对于原始问题和对偶问题，假设函数$f(x)$和$c_i(x)$是凸函数，$h_i(x)$是仿射函数（即由一阶多项式构成的函数，f(x)=Ax + b, A是矩阵，x，b是向量）；并且假设不等式约束$c_i(x)$是严格可行的，即存在$x$，对所有$i$有$c_i(x)<0$，则$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$分别是原始问题和对偶问题的最优解的充分必要条件是$x^{\ast }$和${\alpha }^{\ast },{\beta }^{\ast }$满足下面的Karush-Kuhn-Tucker(KKT)条件：

∇ x L ( x ∗ , α ∗ , β ∗ ) = 0 ∇ α L ( x ∗ , α ∗ , β ∗ ) = 0 ∇ β L ( x ∗ , α ∗ , β ∗ ) = 0 α i ∗ c i ( x ) = 0 , i = 1 , 2 , … , k ( K K T 对 偶 互 补 条 件 ) c i ( x ) ≤ 0 , i = 1 , 2 , … , k α i ∗ ≥ 0 , i = 1 , 2 , … , k h j ( x ∗ ) = 0 , j = 1 , 2 , … , l \begin{aligned} & \nabla_xL(x^*,\alpha^*,\beta^*)=0\\ &\nabla_\alpha L(x^*,\alpha^*,\beta^*)=0\\ &\nabla_\beta L(x^*,\alpha^*,\beta^*)=0\\ &\alpha_i^*c_i(x)=0,i=1,2,\ldots,k(KKT对偶互补条件)\\ &c_i(x)\le0,i=1,2,\ldots,k\\ &\alpha_i^*\ge0,i=1,2,\ldots,k\\ &h_j(x^*)=0,j=1,2,\ldots,l \end{aligned} ​∇x​L(x∗,α∗,β∗)=0∇α​L(x∗,α∗,β∗)=0∇β​L(x∗,α∗,β∗)=0αi∗​ci​(x)=0,i=1,2,…,k(KKT对偶互补条件)ci​(x)≤0,i=1,2,…,kαi∗​≥0,i=1,2,…,khj​(x∗)=0,j=1,2,…,l​

关于KKT 条件的理解：前面三个条件是由解析函数的知识，对于各个变量的偏导数为0（这就解释了为什么假设三个函数连续可微，如果不连续可微的话，这里的偏导数存不存在就不能保证），后面四个条件就是原始问题的约束条件以及拉格朗日乘子需要满足的约束。

特别注意当${\alpha }_i^{\ast }>0$时，由KKT对偶互补条件可知：$c_i(x^{\ast })=0$，这个知识点会在 SVM 的推导中用到.

5. 总结

一句话，把原始的约束问题通过拉格朗日函数转化为无约束问题，如果原始问题求解棘手，在满足KKT的条件下用求解对偶问题来代替求解原始问题，使得问题求解更加容易。