线性规划——对偶问题、强弱对偶定理、KKT条件

原问题

min ⁡ x    c T x s . t .                    A x = b x ≥ 0 \min_x \;c^Tx\\s.t. \;\;\;\;\;\;\;\;\;\\Ax=b\\x\geq 0 xmincTxs.t.Ax=bx0

对偶问题

max ⁡ y    b T y s . t .                    A T y + s = c s ≥ 0 \max_y\;b^Ty\\s.t.\;\;\;\;\;\;\;\;\;\\ A^Ty+s=c\\s\geq 0 ymaxbTys.t.ATy+s=cs0
A ∈ R m × n , x ∈ R n , s ∈ R n , y ∈ R m A \in \R^{m\times n}, x \in \R^{n}, s \in \R^{n}, y \in \R^{m} ARm×n,xRn,sRn,yRm


对偶间隙

0 ≤ x T s = x T ( c − A T y ) = x T c − ( A x ) T y = c T x − b T y 0 \leq x^Ts\\=x^T(c-A^Ty)\\=x^Tc-(Ax)^Ty\\=c^Tx-b^Ty 0xTs=xT(cATy)=xTc(Ax)Ty=cTxbTy意味着原问题的最优值 ≥ \geq 对偶问题的最优值,这就是弱对偶定理


强对偶

强对偶意味着对偶间隙等于0,即 s T z = 0 s^Tz=0 sTz=0,又因为 s > 0 , x > 0 s > 0, x>0 s>0,x>0,所以 x i s i = 0 ,            i = 1 , 2 , . . . , n x_is_i=0, \;\;\;\;\;i=1,2,...,n xisi=0,i=1,2,...,n这说明若 x i > 0 ⇒ s i = 0        且        x i > 0 ⇒ s i = 0 x_i >0 \Rightarrow s_i =0 \;\;\;且\;\;\; x_i >0 \Rightarrow s_i =0 xi>0si=0xi>0si=0,因而称之为 互补性松弛


KKT条件

(1) A x = b Ax=b \tag{1} Ax=b(1) (2) A T y + s = c A^Ty+s=c\tag{2} ATy+s=c(2) (3) x i s i = 0    ( i = 1 , 2 , . . . , n ) x_is_i=0 \;(i=1,2,...,n)\tag{3} xisi=0(i=1,2,...,n)(3)
(1)(2)分别是原问题和对偶问题的可行性条件,(3)即互补松弛条件。上面一共 2n+m 个方程,正好对应 x,y,s 这 2n+m 个变量。


对偶问题的推导

参见博文《线性规划——对偶问题的推导

你可能感兴趣的:(#,优化问题)