对偶问题(Duality)

1. 考虑如下的问题 :
   
   minimizef0(x) m i n i m i z e f 0 ( x )
   
   
   subjecttofi(x)<=0,i=1,...,m s u b j e c t t o f i ( x ) <= 0 , i = 1 , . . . , m
   
   
   hi(x)=0,i=1,...,p(1) (1) h i ( x ) = 0 , i = 1 , . . . , p
   
   其中不限制 f0(x) f 0 ( x ) 是凸函数。我们假设可行域 D=(⋂mi=0domfi)⋂(⋂pi=1domhi) D = ( ⋂ i = 0 m d o m f i ) ⋂ ( ⋂ i = 1 p d o m h i ) 是非 空的
   解决上述问题的基本的想法就是定义拉格朗日函数 L:Rn∗Rm∗Rp→R L : R n ∗ R m ∗ R p → R
   
   L(x,λ,ν)=f0(x)+∑i=1mλifi(x)+∑i=1pνihi(x) L ( x , λ , ν ) = f 0 ( x ) + ∑ i = 1 m λ i f i ( x ) + ∑ i = 1 p ν i h i ( x )
   
   可行域为 D∗Rm∗Rp D ∗ R m ∗ R p ,其中 λi,νi λ i , ν i 表示拉格朗日乘子 ，或者是对偶变量
   同时我们定义拉格朗日对偶函数 g:Rm∗Rp→R g : R m ∗ R p → R
   g(λ,ν)=infx∈DL(x,λ,ν)=infx∈D(f0(x)+∑mi=1λifi(x)+∑pi=1vihi(x)) g ( λ , ν ) = i n f x ∈ D L ( x , λ , ν ) = i n f x ∈ D ( f 0 ( x ) + ∑ i = 1 m λ i f i ( x ) + ∑ i = 1 p v i h i ( x ) )
   假设问题(1)的最优值为 p∗ p ∗ ,那么对于 λ>=0 λ >= 0 和任意的 ν ν ,有下式成立
   
   g(λ,ν)<=p∗ g ( λ , ν ) <= p ∗
   易证。
   那我们的目的便是求解 maxλ,νg(λ,ν) m a x λ , ν g ( λ , ν ) ,从而尽可能接近 p∗ p ∗