[最优化]线性规划中的对偶问题

线性规划中的对偶问题

每个线性规划问题都有一个与之对应的对偶问题，对偶问题也是一个线性规划问题，并且对偶问题的对偶问题是原问题。原问题的最优解可以由对偶问题得到，有时候利用对偶理论求解线性规划问题更加简单，也更能了解问题的本质。在对偶理论的启发下，单纯形法的性能得到了改进，也出现了一些求解线性规划问题的非单纯形法，本文暂不详解。

对偶关系

考虑如下形式的对偶问题

minimizecTxsubject toAx≥bA≥0 m i n i m i z e c T x s u b j e c t   t o A x ≥ b A ≥ 0

将其称为原问题，其相应的对偶形式定义为

maximizeλTbsubject toλTA≤cTλ≥0 m a x i m i z e λ T b s u b j e c t   t o λ T A ≤ c T λ ≥ 0

其中 λ λ 称为对偶向量，这种对偶称为 对称形式的对偶。
另外对于线性规划的标准形，其约束为 Ax=b A x = b ，等价于

Ax≥b−Ax≥−b A x ≥ b − A x ≥ − b

因此含有等式约束的原问题可以写为

minimizecTxsubject to[A−A]x≥[b−b]x≥0 m i n i m i z e c T x s u b j e c t   t o [ A − A ] x ≥ [ b − b ] x ≥ 0

这与对称形式的原问题具有相同的结构，因此上述问题的对偶问题为

maximize[uT vT][b−b]subject to[uT vT][A−A]≤cTu,v≥0 m a x i m i z e [ u T   v T ] [ b − b ] s u b j e c t   t o [ u T   v T ] [ A − A ] ≤ c T u , v ≥ 0

对偶问题可以整理为

maximize(u−v)Tbsubject to(u−v)TA≤cTu,v≥0 m a x i m i z e ( u − v ) T b s u b j e c t   t o ( u − v ) T A ≤ c T u , v ≥ 0

令 λ=u−v λ = u − v ，上述问题则变为

maximizeλTbsubject toλTA≤cT m a x i m i z e λ T b s u b j e c t   t o λ T A ≤ c T

注意此时由于 u,v≥0,λ=u−v u , v ≥ 0 , λ = u − v ，没有了非负约束，将这种关系称为 非对称形式的对偶。

对偶问题的性质

在这里给出对偶问题的一些基本结论，暂不做证明
弱对偶引理：假设 x x 和 λ λ 分别是线性规划的原问题和对偶问题（对称形式及非对称形式）的可行解，则 xTx≥λTb x T x ≥ λ T b ，即“极大值 ≤ ≤ 极小值”。

定理1：假设 x0 x 0 和 λ0 λ 0 分别是原问题和对偶问题的可行解，如果 cTx0=λT0b c T x 0 = λ 0 T b ，那么 x0 x 0 和 λ0 λ 0 分别是各自问题的最优解。

定理2（对偶定理）：如果原问题有最优解，那么其对偶问题也有最优解，并且它们目标函数的最优解相同。

定理3（互补松弛条件）： x x 和 λ λ 分别是原问题和对偶问题的可行解，则它们分别是各自问题的最优解的充分必要条件为

1.(cT−λTA)x=02.λT(Ax−b)=0 1. ( c T − λ T A ) x = 0 2. λ T ( A x − b ) = 0