[笔记] 最优化方法 - 最优性条件

约束极值问题的最优性条件

约束级值问题

mins.t.f(x),x∈Rngi(x)≥0,i=1,⋯,m,hi(x)=0,j=1,⋯,l.

其中 gi(x)≥0 称为 不等式约束， hj(x)=0 称为 等式约束。
集合 S={x∣gi(x)≥0,i=1,⋯,m;hj(x)=0,j=1,⋯,l} 称为可行集或可行域。

可行方向与下降方向

• 下降方向

  若 ∃δ>0 , ∀λ∈(0,δ) , f(x¯+λd)<f(x¯) ，则称 d 为 f(x) 在 x¯ 处的下降方向。

  若 f(x) 可微， ∇f(x¯)d<0 ，则 d 为 f(x) 在 x¯ 处的下降方向。

• 可行方向

  设 S⊂Rn ， x¯∈clS ， d≠0 ，若 ∃δ>0 , ∀λ∈(0,δ) , x¯+λd∈S ，则称 d 为 S 在 x¯ 处的可行方向。

  D={d∣d≠0,x∈clS,∃δ>0,∀λ∈(0,δ),x¯+λd∈S} 称为在 x¯ 处的可行方向锥。

不等式约束问题的一阶最优性条件

mins.t.f(x),x∈Rngi(x)≥0,i=1,⋯,m.

• Fritz John条件

  设 x¯∈S , I={i∣gi(x¯)=0} , f , gi(i∈I) 在 x¯ 处可微， gi(i∈I) 在 x¯ 处连续。
  若 x¯ 是局部最优解，则存在不全为 0 的非负数 w0,wi(i∈I) ，使得
  

  w0∇f(x¯)−∑i∈Iwi∇gi(x¯)=0
  
  x¯ 称为Fritz John点。

• Karush-Kuhn-Tucker(KKT)条件

  设 x¯∈S , I={i∣gi(x¯)=0} , f , gi(i∈I) 在 x¯ 处可微， gi(i∈I) 在 x¯ 处连续， {∇gi(x¯)∣i∈I} 线性无关。
  若 x¯ 是局部最优解，则存在非负数 wi(i∈I) ，使得
  

  ∇f(x¯)−∑i∈Iwi∇gi(x¯)=0
  
  x¯ 称为KKT点。

  若 gi(i∉I) 在 x¯ 可微，则KKT条件等价
  

  ⎧⎩⎨∇f(x¯)−∑i∈Iwi∇gi(x¯)=0,wigi(x¯)=0,i=1,⋯,m,wi≥0,i=1,⋯,m.

  
  wigi(x¯)=0 称为 互补松弛条件。

一般约束问题的一阶最优性条件

mins.t.f(x),x∈Rngi(x)≥0,i=1,⋯,m,hi(x)=0,j=1,⋯,l.

• Fritz John条件

  设 x¯∈S , I={i∣gi(x¯)=0} , f , gi(i∈I) 在 x¯ 处可微， gi(i∈I) 在 x¯ 处连续， hj(j=1,⋯,l) 在点 x¯ 连续可微。
  若 x¯ 是局部最优解，则存在不全为 0 的非负数 w0,wi(i∈I) 和 vj(j=1,⋯,l) ，使得
  

  w0∇f(x¯)−∑i∈Iwi∇gi(x¯)−∑j=1lvj∇hj(x¯)=0
  
  x¯ 称为Fritz John点。

• Karush-Kuhn-Tucker(KKT)条件

  设 x¯∈S , I={i∣gi(x¯)=0} , f , gi(i∈I) 在 x¯ 处可微， gi(i∈I) 在 x¯ 处连续， hj(j=1,⋯,l) 在点 x¯ 连续可微， {∇gi(x¯),∇hj(x¯)∣i∈I,j=1,⋯,l} 线性无关。
  若 x¯ 是局部最优解，则存在非负数 wi(i∈I) 和 vj(j=1,⋯,l) ，使得
  

  ∇f(x¯)−∑i∈Iwi∇gi(x¯)−∑j=1lvj∇hj(x¯)=0
  
  x¯ 称为KKT点。

  若 gi(i∉I) 在 x¯ 可微，则KKT条件等价
  

  ⎧⎩⎨⎪⎪∇f(x¯)−∑i∈Iwi∇gi(x¯)−∑lj=1vj∇hj(x¯)=0,wigi(x¯)=0,i=1,⋯,m,wi≥0,i=1,⋯,m.

  
  wigi(x¯)=0 称为 互补松弛条件。

• Lagrange函数

  L(x,w,v)=f(x)−∑i=1mwigi(x)−∑j=1lvjhj(x)
  
  若 x¯ 是局部最优解，则存在Lagrange乘子 w¯¯¯≥0 和 v¯ ，使得
  
  ∇xL(x¯,w¯¯¯,v¯)=0

• 一般情形的一阶必要条件（KKT必要条件）可表示为

  ⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪⎪⎪∇xL(x,w,v)=0wigi(x)=0,gi(x)≥0,hj(x)=0,wi≥0,i=1,2,⋯,mi=1,2,⋯,mj=1,2,⋯,li=1,2,⋯,m

• 凸规划的充分条件

  f 是凸函数， gi(i=1,⋯,m) 是凹函数， hj(j=1,⋯,l) 是线性函数，可行域为 S ， x¯∈S , I={i∣gi(x¯)=0} ，且在 x¯ 处KKT必要条件成立，则 x¯ 是全局最优解。

二阶条件

• 切锥

  设非空集合 S∈Rn ，点 x¯∈clS ，
  

  T={d∣∃x(k)∈S,x(k)→x及λk>0,d=limk→∞(x(k)−x¯)}
  
  T 称为集合 S 在点 x¯ 的切锥（tangent cone）或序列
  化可行方向锥（sequential feasible cone）。

  设确定集合 S 的所有约束函数在 x∈S 处连续可微，则 D(x,S)⊆SFD(x,S) ，其中 D(x,S) 为 x 点的可行方向锥， SFD(x,S) 为 x 点的切锥。
  定义 S¯¯=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪x∣x∈Rngi(x)=0,gi(x)≥0,hi(x)=0,i∈I,wi¯¯¯¯>0i∈I,wi¯¯¯¯=0j=1,⋯,l⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪
  设 S¯¯ 在点 x¯ 的切锥为 T 。
  定义 G¯¯¯=⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪d∣d∈Rn∇gi(x¯)d=0,∇gi(x¯)d≥0,∇hi(x¯)d=0,i∈I,wi¯¯¯¯>0i∈I,wi¯¯¯¯=0j=1,⋯,l⎫⎭⎬⎪⎪⎪⎪⎪⎪⎪⎪
  则 G¯¯¯⊇T¯¯¯ 。

• 二阶必要条件

  设 x¯ 是局部最优解， f , gi(i=1,⋯,m) 和 hj(j=1,⋯,l) 二次连续可微，并存在满足一般情形的一阶必要条件的乘子 w¯¯¯=(w1¯¯¯¯,⋯,wm¯¯¯¯¯) 和 v=(v1¯¯¯,⋯,vl¯¯¯) 。
  设点 x¯ 的约束规格 G¯¯¯=T¯¯¯ 成立，则 ∀d∈G¯¯¯ ，有
  

  dT∇2xL(x¯,w¯¯¯,v¯)d≥0
  
  即 L 在点 x¯ 关于 x 的Hesse矩阵 ∇2xL(x¯,w¯¯¯,v¯)=∇2f(x¯)−∑mi=1wi¯¯¯¯∇2gi(x¯)−∑lj=1vj¯¯¯∇2hj(x¯) 是在 G¯¯¯ 上半正定的。

• 二阶充分条件

  设 f , gi(i=1,⋯,m) 和 hj(j=1,⋯,l) 二次连续可微， x¯ 为可行点，存在满足一般情形的一阶必要条件的乘子 w¯¯¯=(w1¯¯¯¯,⋯,wm¯¯¯¯¯) 和 v=(v1¯¯¯,⋯,vl¯¯¯) ，且 ∀d∈G¯¯¯ ，有
  

  dT∇2xL(x¯,w¯¯¯,v¯)d>0
  
  则 x 是严格局部最优解。

考虑下列非线性规划问题（可行域如图中的弧 ABCD ）：

mins.t.x1,3(x1−3)2+x2≥0,(x1−3)2+x22−10=0.

判断下列各点是否为局部最优解：

x(1)=[2−3],x(2)=[4−3],x(3)=[3+10−−√0],x(4)=[3−10−−√0].

解：目标函数 f(x)=x1 及约束函数 g(x)=3(x1−3)2+x2 , h(x)=(x1−3)2+x22−10 的梯度分别为

∇f(x)=[10],∇g(x)=[6(x1−3)1],∇h(x)=[2(x1−3)2x2].

Lagrange函数是 L(x,w,v)=x1−w[3(x1−3)2+x2]−v[(x1−3)2+x22−10]

∇xL=[1−6w(x1−3)−2v(x1−3)−w−2vx2],∇2xL=[−6w−2v00−2v].

(1) x(1) 是可行点，两个约束均为起作用约束。

∇f(x(1))=[10],∇g(x(1))=[−61],∇h(x(1))=[−2−6].

KKT条件为

⎧⎩⎨1+6w+2v=0−w+6v=0w≥0

方程组无解，故 x(1) 不是KKT点，不是局部最优解。

(2) x(2) 是可行点，两个约束均为起作用约束。

∇f(x(1))=[10],∇g(x(1))=[61],∇h(x(1))=[2−6].

KKT条件为

⎧⎩⎨1−6w−2v=0−w+6v=0w≥0

解得 w=319 , v=138 ， x(2) 是KKT点，问题在 x(2) 满足一阶必要条件。
在此点Lagrange函数的Hesse矩阵

∇2xL(x(2),w,v)=⎡⎣−100−119⎤⎦

求集合 G¯¯¯ 中的元素，由于 w>0 ，
解方程组 {∇g(x(2))Td=0∇h(x(2))Td=0 ，其中 d=(d1,d2)T ，即
{6d1+d2=02d1−6d2=0 ，解得 d=(0,0)T 。
方向集 G={d∣d≠0,∇g(x(2))Td=0,∇h(x(2))Td=0}=∅ ，
故 x(2) 是局部最优解。
P239