对偶理论入门

对偶理论入门介绍

        线性规划（Linear Programming,简称LP）是运筹学中研究较早、发展较快、应用广泛、方法较为成熟的一个重要分支，它是辅助人们进行科学管理的一种数学方法。研究线性约束条件下线性目标函数的极值问题的数学理论和方法。线性规划中普遍存在配对现象，即对每一个线性规划问题，都存在另一个与它有密切关系的线性规划问题，其中之一称为原问题，而另一个称它的对偶问题。这篇博客提到的对偶理论（Duality theory）就是研究线性规划中原始问题与对偶问题之间关系的理论。

        对偶理论自1947年提出以来，已经有了很大发展，现在关于线性规划的一般著作都包含这部分内容，它已成为线性规划的必不可少的重要基础理论之一。

1.1 对偶问题的表达

        线性规划中的对偶可以概括为三种形式。

(1)对称形式的对偶

        设原问题为：

                                         min  cx

                                         s.t.  Ax >= b,

                                                x>= 0

        则对偶问题为：

                                         max  wb

                                          s.t.   wA <= 0,

                                                  w>=0

        其中A=(p₁,....,p_n)是m*n矩阵，b=(b₁,......,b_m)^T是m维列向量，c=(c₁,.......,c_n)是n维行向量. x =(x₁,.......,x₂)^T是由原问题的变量组成的n维列向量，w=(w₁,......,w_m)是由对偶问题的变量组成的m维行向量。

        在原问题中，目标函数是c与x的内积，Ax>=b包含m个不等式约束，其中每个约束条件记作

                                         A_ix>=b_i. 

        A_i是A的第i行，变量xj有非负限制。

        在对偶问题中，目标函数是b与w的内积，wA<=c包含n个不等式约束，每个约束条件记作

        wp_i <= c_j，

        对偶变量wi也有非负限制。

        根据对称对偶的定义，原问题中约束条件A_ix>=b_i的个数恰好等于对偶变量的个数，原问题中变量的个数，恰好等于对偶问题中约束条件wA<=c的个数。

        按照上述定义，很容易写出一个线性规划问题的对偶问题。

        例如：设原问题是：

                ，

        则其对偶问题按照上述的定义可以写成

                

(2)非对称形式的对偶

        在上述对称形式的对偶中我们考虑的约束条件为不等式约束条件，这里我们对等式约束条件下的对偶问题称为非对称形式的对偶。但是对偶问题的变换方式和上述类似，只需稍微的变换一下，如下所示。设原问题为：

                                               min    cx

                                               s.t.  Ax = b,

                                                        x>=0

        这里稍加变换就可以写成对称形式的等价如：

                                                min    cx

                                                s.t.  Ax >= b,

                      -Ax >= -b,

                                                          x>= 0

        按照对称形式的策略，此时的对偶问题为：

                                                  max ub-vb

                                                  s.t.  uA- vA <=c，

                                                         u,v>=0.

        令w=u-v ,显然w没有非负限制，于是得到

                                                 max   wb

                                                    s.t.   wA<=c.

         这里也给出个例子如下：

                ，

        它的对偶问题是：

                

(3)一般情形

        结合等式约束和不等式约束条件的问题就是第三种一般情形。

        设原问题为

                                 min cx

                                   s.t. A₁x >=b，

                                       A₂x = b2，

                                       A₃x <= b3，

                                         x>=0，

        其中，A₁是m1*n矩阵,A₂是m2*n矩阵，A₃是m3*n矩阵，b1,b2和b3分别是m1维，m2维和m3维列向量，c是n维行向量，x是n维列向量。

        对上述问题进行变换，引入松弛变量得：

                                         min cx

                                         s.t.  A₁x – x_s =b_1,

                                                A₂x = b_2,

                                                A₃x + x_t = b_3，

                                                x, x_s, x_{t >= 0，}

        _{其中，xs是有m1个松弛变量组成的m1维列向量，xt是有m3个松弛变量组成的m3维列向量，上述问题即}

                                           _{min cx +0*xs + 0*xt}

                                                   

                                                      _{x，xs，xt>=0}

        根据非对称形式对偶变换方法得到：

               

即

                

        其中w1,w2和w3分别是由变量组成的m1维，m2维和m3维行向量。

        原问题中的约束A1x>=b1所对应的对偶变量w1有非负限制，A2x=b2所对应的对偶变量w2无正负限制，A3x<=b3所对应的对偶变量w3有非正限制。

1.2 对偶问题的基本定理

        定理1.1(弱对偶定理) 

        设X⁽⁰⁾是原问题max z=CX，AX≤b，X≥0的可行解

        Y⁽⁰⁾是其对偶问题minw=Yb，YA≥C，Y≥0的可行解

        则 CX⁽⁰⁾≤Y⁽⁰⁾b。

        定理1.2(最优性定理) 

        设X⁽⁰⁾是原问题max z=CX，AX≤b，X≥0的可行解，

        Y⁽⁰⁾是其对偶问题min w=Yb，YA≥C，Y≥0的可行,

        若CX⁽⁰⁾=Y⁽⁰⁾b,则X⁽⁰⁾、Y⁽⁰⁾分别是它们的最优解。

        定理1.3(对偶定理) 

        若原问题max z=CX，AX≤b，X≥0有最优解，

        则其对偶问题min w=Yb，YA≥C，Y≥0 一定有最优解，且二者的目标函数值相等。

        定理1.4(互补松弛定理)   

        原问题max z=CX，AX≤b，X≥0及其对偶问题minw=Yb，YA≥C，Y≥0 的可行解X^（0）、Y⁽⁰⁾是最优解的充要条件是

        Y⁽⁰⁾XS = 0 ；

        YSX⁽⁰⁾= 0

        其中, XS、YS分别是原问题松弛变量向量和对偶问题剩余变量向量。