线性规划(Linear Programming,简称LP)是运筹学中研究较早、发展较快、应用广泛、方法较为成熟的一个重要分支,它是辅助人们进行科学管理的一种数学方法。研究线性约束条件下线性目标函数的极值问题的数学理论和方法。线性规划中普遍存在配对现象,即对每一个线性规划问题,都存在另一个与它有密切关系的线性规划问题,其中之一称为原问题,而另一个称它的对偶问题。这篇博客提到的对偶理论(Duality theory)就是研究线性规划中原始问题与对偶问题之间关系的理论。
对偶理论自1947年提出以来,已经有了很大发展,现在关于线性规划的一般著作都包含这部分内容,它已成为线性规划的必不可少的重要基础理论之一。
1.1 对偶问题的表达
线性规划中的对偶可以概括为三种形式。
(1)对称形式的对偶
设原问题为:
min cx
s.t. Ax >= b,
x>= 0
则对偶问题为:
max wb
s.t. wA <= 0,
w>=0
其中A=(p1,....,pn)是m*n矩阵,b=(b1,......,bm)T是m维列向量,c=(c1,.......,cn)是n维行向量. x =(x1,.......,x2)T是由原问题的变量组成的n维列向量,w=(w1,......,wm)是由对偶问题的变量组成的m维行向量。
在原问题中,目标函数是c与x的内积,Ax>=b包含m个不等式约束,其中每个约束条件记作
Aix>=bi.
Ai是A的第i行,变量xj有非负限制。
在对偶问题中,目标函数是b与w的内积,wA<=c包含n个不等式约束,每个约束条件记作
wpi <= cj,
对偶变量wi也有非负限制。
根据对称对偶的定义,原问题中约束条件Aix>=bi的个数恰好等于对偶变量的个数,原问题中变量的个数,恰好等于对偶问题中约束条件wA<=c的个数。
按照上述定义,很容易写出一个线性规划问题的对偶问题。
例如:设原问题是:
则其对偶问题按照上述的定义可以写成
(2)非对称形式的对偶
在上述对称形式的对偶中我们考虑的约束条件为不等式约束条件,这里我们对等式约束条件下的对偶问题称为非对称形式的对偶。但是对偶问题的变换方式和上述类似,只需稍微的变换一下,如下所示。设原问题为:
min cx
s.t. Ax = b,
x>=0
这里稍加变换就可以写成对称形式的等价如:
min cx
s.t. Ax >= b,
-Ax >= -b,
x>= 0
按照对称形式的策略,此时的对偶问题为:
max ub-vb
s.t. uA- vA <=c,
u,v>=0.
令w=u-v ,显然w没有非负限制,于是得到
max wb
s.t. wA<=c.
这里也给出个例子如下:
它的对偶问题是:
(3)一般情形
结合等式约束和不等式约束条件的问题就是第三种一般情形。
设原问题为
min cx
s.t. A1x >=b,
A2x = b2,
A3x <= b3,
x>=0,
其中,A1是m1*n矩阵,A2是m2*n矩阵,A3是m3*n矩阵,b1,b2和b3分别是m1维,m2维和m3维列向量,c是n维行向量,x是n维列向量。
对上述问题进行变换,引入松弛变量得:
min cx
s.t. A1x – xs =b1,
A2x = b2,
A3x + xt = b3,
x, xs, xt >= 0,
其中,xs是有m1个松弛变量组成的m1维列向量,xt是有m3个松弛变量组成的m3维列向量,上述问题即
min cx +0*xs + 0*xt
x,xs,xt>=0
根据非对称形式对偶变换方法得到:
即
其中w1,w2和w3分别是由变量组成的m1维,m2维和m3维行向量。
原问题中的约束A1x>=b1所对应的对偶变量w1有非负限制,A2x=b2所对应的对偶变量w2无正负限制,A3x<=b3所对应的对偶变量w3有非正限制。
1.2 对偶问题的基本定理
定理1.1(弱对偶定理)
设X(0)是原问题max z=CX,AX≤b,X≥0的可行解
Y(0)是其对偶问题minw=Yb,YA≥C,Y≥0的可行解
则 CX(0)≤Y(0)b。
定理1.2(最优性定理)
设X(0)是原问题max z=CX,AX≤b,X≥0的可行解,
Y(0)是其对偶问题min w=Yb,YA≥C,Y≥0的可行,
若CX(0)=Y(0)b,则X(0)、Y(0)分别是它们的最优解。
定理1.3(对偶定理)
若原问题max z=CX,AX≤b,X≥0有最优解,
则其对偶问题min w=Yb,YA≥C,Y≥0 一定有最优解,且二者的目标函数值相等。
定理1.4(互补松弛定理)
原问题max z=CX,AX≤b,X≥0及其对偶问题minw=Yb,YA≥C,Y≥0 的可行解X(0)、Y(0)是最优解的充要条件是
Y(0)XS = 0 ;
YSX(0)= 0
其中, XS、YS分别是原问题松弛变量向量和对偶问题剩余变量向量。