优化问题之拉格朗日乘子法&KKT条件分析

优化问题

1. 无约束优化问题

   minf(x) min f ( x ) ，由Fermat’s theorem可知，可微函数的极值点都是其驻点（必要条件），故令其导数为零即可求解，当然也可利用梯度下降算法求解；

2. 等式约束优化问题

   minf0(x),  s.t., hi(x)=0, i=1,2,⋯,p min f 0 ( x ) ,     s . t . ,   h i ( x ) = 0 ,   i = 1 , 2 , ⋯ , p
   对于这种情形我们常使用拉格朗日乘子法（Lagrange multiplier）求解；

3. 不等式约束优化问题

   minf0(x) min f 0 ( x )
   s.t., hi(x)=0,i=1,2,⋯,p s . t . ,   h i ( x ) = 0 , i = 1 , 2 , ⋯ , p
   fi(x)≤0,i=1,2,⋯,m, f i ( x ) ≤ 0 , i = 1 , 2 , ⋯ , m ,

   对于这种情形我们常使用KKT条件求解，Lagrange 函数L: Rn×Rm×Rp→R R n × R m × R p → R 为

   L(x,λ,v)=f0(x)+∑i=1mλifi(x)+∑i=1pvihi(x), L ( x , λ , v ) = f 0 ( x ) + ∑ i = 1 m λ i f i ( x ) + ∑ i = 1 p v i h i ( x ) ,
   我们假设该问题的定义域（非可行域）为
   D=⋂i=0mdomfi∩⋂i=1pdomhi,且原问题的最优值为p∗ D = ⋂ i = 0 m d o m f i ∩ ⋂ i = 1 p d o m h i , 且 原 问 题 的 最 优 值 为 p ∗
   另外我们定义Lagrange 对偶函数g: Rm×Rp→R R m × R p → R 为Lagrange函数关于定义域内 x x 取得的最小值，即，
   g(λ,v)=infx∈DL(x,λ,v)=infx∈D(f0(x)+∑i=1mλifi(x)+∑i=1pvihi(x))) g ( λ , v ) = i n f x ∈ D L ( x , λ , v ) = i n f x ∈ D ( f 0 ( x ) + ∑ i = 1 m λ i f i ( x ) + ∑ i = 1 p v i h i ( x ) ) )
   我们可以得出对偶函数构成了原问题最优值 p∗ p ∗ 的下界，即，
   ∀λ⪰0,v,  g(λ,v)≤p∗. ∀ λ ⪰ 0 , v ,     g ( λ , v ) ≤ p ∗ .
   令 x∗和(λ∗,v∗) x ∗ 和 ( λ ∗ , v ∗ ) 分别为原问题和对偶问题的某对最优解，且满足强对偶性（对偶间隙为零），那么我们就可以得到， f0(x∗)=g(λ∗,v∗) f 0 ( x ∗ ) = g ( λ ∗ , v ∗ ) 。另外，
   KKT为，
   ⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪fi(x∗)≤0,hi(x∗)=0,λ∗i≥0,λ∗ifi(x∗)=0,∇f0(x∗)+∑mi=1λ∗i∇fi(x∗)+∑pi=1v∗i∇hi(x∗)=0，i=1,2,⋯,mi=1,2,⋯,pi=1,2,⋯,mi=1,2,⋯,m∗ { f i ( x ∗ ) ≤ 0 , i = 1 , 2 , ⋯ , m h i ( x ∗ ) = 0 , i = 1 , 2 , ⋯ , p λ i ∗ ≥ 0 , i = 1 , 2 , ⋯ , m λ i ∗ f i ( x ∗ ) = 0 , i = 1 , 2 , ⋯ , m ∇ f 0 ( x ∗ ) + ∑ i = 1 m λ i ∗ ∇ f i ( x ∗ ) + ∑ i = 1 p v i ∗ ∇ h i ( x ∗ ) = 0 ， ∗
   
   注，对于上面的所有情况的优化问题，目标函数及其约束函数若为凸函数，可行域组成凸集，才能得到全局最优解，否则只能得到局部最优解，因为这些条件只是必要条件，而非充要条件。。。