线性规划——对偶问题、强弱对偶定理、KKT条件

原问题

$$\begin{gathered} \underset{x}{\min }{c}^{T}x \\ s.t. \\ Ax=b \\ x\ge 0 \end{gathered}$$

对偶问题

$$\begin{gathered} \underset{y}{\max }{b}^{T}y \\ s.t. \\ {A}^{T}y+s=c \\ s\ge 0 \end{gathered}$$
$A\in {\mathbb{R}}^{m\times n},x\in {\mathbb{R}}^n,s\in {\mathbb{R}}^n,y\in {\mathbb{R}}^m$

---

对偶间隙

$$\begin{gathered} 0\le x^{T}s \\ =x^T(c-A^{T}y) \\ =x^{T}c-(Ax{)}^{T}y \\ =c^{T}x-b^{T}y \end{gathered}$$意味着原问题的最优值 $\ge$ 对偶问题的最优值，这就是弱对偶定理。

---

强对偶

强对偶意味着对偶间隙等于0，即 $s^{T}z=0$，又因为 $s>0,x>0$，所以$$x_i{s}_i=0,i=1,2,...,n$$这说明若 $x_i>0\Rightarrow s_i=0且x_i>0\Rightarrow s_i=0$，因而称之为 互补性松弛。

---

KKT条件

$$Ax=b\text{\hspace{1em}(1)}$$$$A^{T}y+s=c\text{\hspace{1em}(2)}$$$$x_i{s}_i=0(i=1,2,...,n)\text{\hspace{1em}(3)}$$
(1)(2)分别是原问题和对偶问题的可行性条件，(3)即互补松弛条件。上面一共 2n+m 个方程，正好对应 x,y,s 这 2n+m 个变量。

---

对偶问题的推导

参见博文《线性规划——对偶问题的推导
》