[最优化]不等式约束的优化问题求解

不等式约束的优化问题求解

与前文讨论的只含等式约束的优化问题求解类似，含不等式约束的优化问题同样可以用拉格朗日乘子法进行求解
对于一般形式的优化问题：

minimizef(x)subject toh(x)=0g(x)≤0 m i n i m i z e f ( x ) s u b j e c t   t o h ( x ) = 0 g ( x ) ≤ 0

其中， f:Rn→R,h:Rn→Rm,m≤n,g:Rn→Rp f : R n → R , h : R n → R m , m ≤ n , g : R n → R p
引入下面两个定义：

定义1：对于一个不等式约束 gj(x)≤0 g j ( x ) ≤ 0 ，如果在 x∗ x ∗ 处 gj(x∗)=0 g j ( x ∗ ) = 0 ，那么称该不等式约束是 x∗ x ∗ 处的起作用约束；如果在 x∗ x ∗ 处 gj(x∗)<0 g j ( x ∗ ) < 0 ，那么称该约束是 x∗ x ∗ 处的不起作用约束。按照惯例，总是把等式约束 hi(x) h i ( x ) 当作起作用的约束

定义2：设 x∗ x ∗ 满足 h(x∗)=0,g(x∗)≤0 h ( x ∗ ) = 0 , g ( x ∗ ) ≤ 0 ，设 J(x∗) J ( x ∗ ) 为起作用不等式约束的下标集：

J(x∗)≜{j:gj(x∗)=0} J ( x ∗ ) ≜ { j : g j ( x ∗ ) = 0 }

如果向量

∇hi(x∗),∇gj(x∗),1≤i≤m,j∈J(x∗) ∇ h i ( x ∗ ) , ∇ g j ( x ∗ ) , 1 ≤ i ≤ m , j ∈ J ( x ∗ )

是线性无关的，那么称 x∗ x ∗ 是一个正则点

下面介绍某个点是局部极小点所满足的一阶必要条件，即KKT条件。
KKT条件：设 f,h,g∈C1 f , h , g ∈ C 1 ，设 x∗ x ∗ 是问题 h(x)=0,g(x)≤0 h ( x ) = 0 , g ( x ) ≤ 0 的一个正则点和局部极小点，那么必然存在 λ∗∈Rm λ ∗ ∈ R m 和 μ∗∈Rp μ ∗ ∈ R p ，使得以下条件成立：

μ∗≥0Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0Tμ∗Tg(x∗)=0h(x∗)=0g(x∗)≤0 μ ∗ ≥ 0 D f ( x ∗ ) + λ ∗ T D h ( x ∗ ) + μ ∗ T D g ( x ∗ ) = 0 T μ ∗ T g ( x ∗ ) = 0 h ( x ∗ ) = 0 g ( x ∗ ) ≤ 0

那么在求解不等式约束的最优化问题的时候，可以搜索满足KKT条件的点，并将这些点作为极小点的候选对象。

二阶充分必要条件

除了一阶的KKT条件之外，求解这类问题还有二阶的充分必要条件。

二阶必要条件：在上述的问题中若 x∗ x ∗ 是极小点且 f,h,g∈C2 f , h , g ∈ C 2 。假设 x∗ x ∗ 是正则点，那么存在 λ∗∈Rm λ ∗ ∈ R m 和 μ∗∈Rp μ ∗ ∈ R p 使得

1. μ∗≥0,Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0T,μ∗Tg(x∗)=0 μ ∗ ≥ 0 , D f ( x ∗ ) + λ ∗ T D h ( x ∗ ) + μ ∗ T D g ( x ∗ ) = 0 T , μ ∗ T g ( x ∗ ) = 0
2. 对于所有 y∈T(x∗) y ∈ T ( x ∗ ) ，都有 yTL(x∗,λ∗,μ∗)y≥0 y T L ( x ∗ , λ ∗ , μ ∗ ) y ≥ 0 成立

二阶充分条件：假定 f,h,g∈C2 f , h , g ∈ C 2 ， x∗∈Rn x ∗ ∈ R n 是一个可行点，存在向量 λ∗∈Rm λ ∗ ∈ R m 和 μ∗∈Rp μ ∗ ∈ R p 使得

1. μ∗≥0,Df(x∗)+λ∗TDh(x∗)+μ∗TDg(x∗)=0T,μ∗Tg(x∗)=0 μ ∗ ≥ 0 , D f ( x ∗ ) + λ ∗ T D h ( x ∗ ) + μ ∗ T D g ( x ∗ ) = 0 T , μ ∗ T g ( x ∗ ) = 0
2. 对于所有 y∈T˜(x∗,μ∗),y≠0 y ∈ T ~ ( x ∗ , μ ∗ ) , y ≠ 0 ，都有 yTL(x∗,λ∗,μ∗)y>0 y T L ( x ∗ , λ ∗ , μ ∗ ) y > 0 成立

那么 x∗ x ∗ 是优化问题 h(x)=0,g(x)≤0 h ( x ) = 0 , g ( x ) ≤ 0 的严格局部极小点