对偶问题、KKT条件、LP中的对偶问题

这篇文章是对 pluski和 Kevin_Duan 的读后感。看完这两位的文章后，对线性规划对偶问题的来龙去脉有了更深的理解。

这是我CSDN上的第一篇分享，肯定不会是最后一篇，希望能激励自己好好学习，赚钱养猫 ~

1. 拉格朗日函数和对偶问题

1.1 拉格朗日函数

优化问题一般都能转化为如下的形式：
$$\begin{array}{rl}\min & f(x)\\ s.t.& h_i(x)\le 0,i=1,...,m\\ & g_i(x)=0,i=1,...,n\end{array}$$ 这里面要求$g_i(x)$是仿射的，也就是形如$g_i(x)=Ax+b$.

那么对应的拉格朗日函数是：

$$L(x,\lambda ,v)=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{i=1}^n{v}_i{g}_i(x)$$

其中 ${\lambda }_i\ge 0$.

这里面${\lambda }_i,v_i$都是向量，它们的维度分别由$h_i(x),g_i(x)$确定，反正就是要保证矩阵相乘之后，${\lambda }_i{h}_i(x),v_i{g}_i(x)$ 都是一个数。 比方说，如果$g_i(x)$ 将 $x$ 映射成一个 $p\times 1$ 的向量的话， 那么$v_i$ 就是一个 $1\times p$ 的向量。

可以看到拉格朗日函数把约束和目标函数融合在了一起。那为什么要引入拉格朗日函数呢？ 神奇的地方就在于，从拉格朗日函数出发，我们能构造出原问题和对偶问题。

1.2 原问题

首先来看看
$$\begin{array}{rl}Z(x)=& \underset{\lambda \ge 0,v}{\max }L(x,\lambda ,v)\\ =& \underset{\lambda \ge 0,v}{\max }f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{i=1}^n{v}_i{g}_i(x)\end{array}$$ 这一小节想说的事情就是： $\min Z(x)$ 的最优解 $x^{\ast }$，其实是原问题的最优解。

首先，如果$x^{\ast }$ 是 $\min Z(x)$ 的最优解，那肯定有 $h_i(x^{\ast })\le 0$ 和 $g_i(x^{\ast })=0$, 不然的话，通过选取合适的 $\lambda$ 和 $v$ ，肯定能让 $$Z(x)=\underset{\lambda \ge 0,v}{\max }f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{i=1}^n{v}_i{g}_i(x)=\infty$$ 这样一来 $x^{\ast }$ 起码是原问题的一个可行点。

然后，固定 $x=x^{\ast }$, 在已知 $h_i(x^{\ast })\le 0$ 和 $g_i(x^{\ast })=0$ 的情况下，为了让 $L(x^{\ast },\lambda ,v)$ 最大化，我们会令 $\lambda =0$ (因为 $\lambda \ge 0$, ${\lambda }_i{h}_i(x)$ 最大的值是0 ). 这样一来，
$$Z(x^{\ast })=\underset{\lambda \ge 0,v}{\max }f(x^{\ast })+\sum _{i=1}^m{\lambda }_i{h}_i(x^{\ast })+\sum _{i=1}^n{v}_i{g}_i(x^{\ast })=f(x^{\ast })$$

也就是说 $x^{\ast }$ 也同样让 $f(x)$ 最小了，所以也是原问题的最优解。

总结一下，这一小节就说明了原问题等价于：
$$\min Z(x)$$

1.3 对偶问题

我们再来看看
$$G(\lambda ,v)=\underset{x}{\min }L(x,\lambda ,v)$$这一小节想说的事情就是： $\underset{\lambda \ge 0,v}{\max }G(\lambda ,v)$ 是原问题的对偶问题。

对偶问题这个概念有点抽象，其实我们想说明的是，$G(\lambda ,v)$充当了原问题的一个下界：
$$\underset{\lambda \ge 0,v}{\max }G(\lambda ,v)\le \underset{x}{\min }Z(x)$$ 直白点说，无论取什么 $\lambda$ 和 $v$， $G(\lambda ,v)$里面最大的那个，都要比 $Z(x)$ 里面最小的那个小。

设 $({\lambda }^{\ast },v^{\ast })$ 和 $x^{\ast }$ 分别是对偶问题和原问题的最优解，那么

$$\begin{array}{rl}G({\lambda }^{\ast },v^{\ast })& =\underset{x}{\min }L(x,{\lambda }^{\ast },v^{\ast })\\ & \le L(x^{\ast },{\lambda }^{\ast },v^{\ast })\\ & =f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{h}_i(x^{\ast })+\sum _{i=1}^n{v}_i^{\ast }{g}_i(x^{\ast })\\ & \le f(x^{\ast })({\lambda }_i^{\ast }{h}_i(x^{\ast })\le 0,g_i(x^{\ast })=0)\end{array}$$ 可以看到，$G(\lambda ,v)$ 确实充当了原问题 $f(x)$ 的一个下界。接下来，一个自然的问题就是，这个下界可以取到吗？

题外话：对偶问题的不只提供了原问题的下界，它自身还有一个很好的性质，凸性。不论原问题如何，对偶问题一定的凸优化问题，详情见 为什么拉格朗日对偶函数一定是凹函数(逐点下确界)。

2. 强对偶性和KKT条件

记对偶问题的最大值为 $d^{\ast }=G({\lambda }^{\ast },v^{\ast })$ ，原问题的最小值 $p^{\ast }=f(x^{\ast })$。 从上节的推导可知， $d^{\ast }\le p^{\ast }$一定成立，这个条件被称作弱对偶性, 对任意优化问题都成立。

强对偶性指的是， $d^{\ast }=p^{\ast }$ 这一条件， 也即对偶问题的最大值和原问题的最小值刚好重合。

这一节主要想讨论下面这个问题：
当强对偶性成立时，原问题的最优解 $x^{\ast }$ 和对偶问题的最优解 $({\lambda }^{\ast },v^{\ast })$ 会有什么关系呢？（是的，KKT要来了！）

当强对偶性成立， $d^{\ast }=G({\lambda }^{\ast },v^{\ast })=f(x^{\ast })=p^{\ast }$的时候，有
$$\begin{array}{rl}f(x^{\ast })=G({\lambda }^{\ast },v^{\ast })& =\underset{x}{\min }L(x,{\lambda }^{\ast },v^{\ast })\\ & \le L(x^{\ast },{\lambda }^{\ast },v^{\ast })\\ & =f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }{h}_i(x^{\ast })+\sum _{i=1}^n{v}_i^{\ast }{g}_i(x^{\ast })\\ & \le f(x^{\ast })(0)\end{array}$$ 由于夹逼定理，上面的这两个 $\le$ 号都是 $=$ 号。

第一个等号告诉我们，$x^{\ast }$ 是函数 $L(x,{\lambda }^{\ast },v^{\ast })$ 的最小值，所以它是 $L(x,{\lambda }^{\ast },v^{\ast })$ 的某个极小值点。在 $x^{\ast }$ 处，$L(x,{\lambda }^{\ast },v^{\ast })$ 关于 $x$ 的梯度等于0：
$$\nabla f(x^{\ast })+\sum _{i=1}^m{\lambda }_i^{\ast }\nabla h_i(x^{\ast })+\sum _{i=1}^n{v}_i^{\ast }\nabla g_i(x^{\ast })=0(1)$$ 第二个等号告诉我们，${\sum }_{i=1}^m{\lambda }_i^{\ast }{h}_i(x^{\ast })=0$ ，而里面每一项都是非正的，所以每一项都等于0：
$${\lambda }_i^{\ast }{h}_i(x^{\ast })=0i=1,...,m(2)$$

加上原问题及对偶问题可行域的条件：
$$\begin{array}{rl}& h_i(x^{\ast })\le 0,i=1,...,m(3)\\ & g_i(x^{\ast })=0,i=1,...,n(4)\\ & {\lambda }_i^{\ast }\ge 0,i=1,...,m(5)\end{array}$$
$(1)-(5)$合起来，就是 $x^{\ast }$ 和 $({\lambda }^{\ast },v^{\ast })$ 共同要满足的条件，是不是很眼熟？ 没错，这就是KKT(Karush–Kuhn–Tucker)条件！

维基百科里，KKT条件的叙述是这样的：“the KKT conditions are the necessary conditions for a solution in nonlinear programming to be optimal, provided that some regularity conditions are satisfied.”

也就是说，在regularity conditions成立的情况下，最优解 $x^{\ast }$ 会满足KKT条件 (Necessary conditions)。这里的regularity conditions可以理解成，让强对偶性成立的条件。

顺带一提，如果原问题是凸优化问题（目标函数核约束空间都是凸的），那么令KKT条件成立的 $x^{\ast }$ 就是原问题的最优解 (Sufficent conditions)。(答案就在 $(0)$ 式里面)

3. 线性规划对偶问题

最后，我们看看怎么利用一般优化问题的对偶理论，来推导出线性规划的对偶问题 (Dual LP)。

一般来说，线性规划问题都可以转化成下面的形式：
$$\begin{array}{rl}\min & C^{T}x\\ s.t.& Ax-b=0\\ & x\ge 0\end{array}$$ 根据 $1.1$ 章节，这个优化问题对应的拉格朗日函数是：
$$L(x,\lambda ,v)=C^{T}x-{\lambda }^{T}x+v^T(Ax-b),\lambda \ge 0$$ 稍微对维度解释一下，如果 $A\in R^{m\times n}$ 的话（线性规划里有 $m$ 条约束，$n$ 个变量）, 那么 $v\in R^{m\times 1}$ , $\lambda \in R^{n\times 1}$。简单来说，就是得让矩阵相乘的结果是一个数。

根据 $1.3$ 章节，从拉格朗日函数出发，对应的对偶问题是：
$$\begin{array}{rl}G(\lambda ,v)& =\underset{x}{\min }L(x,\lambda ,v)\\ & =\underset{x}{\min }-v^{T}b+(C^T-{\lambda }^T+v^{T}A)x\\ & =\{\begin{array}{l}-{\lambda }^{T}b,C^T-{\lambda }^T+v^{T}A=0\\ -\infty ,otherwise\end{array}\end{array}$$为了让问题有意义，$C^T-{\lambda }^T+v^{T}A=0$ 必须成立，所以对偶问题是：
$$\begin{array}{rl}\max & G(\lambda ,v)=-v^{T}b\\ s.t.& C^T-{\lambda }^T+v^{T}A=0\\ & v\ge 0\end{array}$$ 把转置翻一下，用 $-v$ 代替 $v$ ，就可以得到下面这个等价的、更常见的 Dual LP：
$$\begin{array}{rl}\max & b^{T}v\\ s.t.& A^{T}v+\lambda =C\\ & \lambda \ge 0\end{array}$$ 线性规划问题是满足强对偶性的，所以原问题的最优解 $x^{\ast }$ 和对偶问题的最优解 $({\lambda }^{\ast },v^{\ast })$ 会满足KKT条件。

其中一条就是
$${\lambda }^{T}x=0，$$也就是线性规划里常说的Complementary Slackness。
(原问题里面的某个 $x_i$ 是基变量时，对应的对偶约束一定是binding的，也即 ${\lambda }_i=0$)

KKT里面梯度为0的条件，其实是对偶问题的约束 $A^{T}v+\lambda =C$。