约束极值问题/非线性规划问题

预备知识

1.假设 a , b 为两个向量，则 a∙b=|a|∗|b|∗cosθ ，其中 θ 为向量 a、b 的夹角。因此，当向量 a,b 的点乘为正数时，其几何意义是这两向量的夹角小于90度，为负数，夹角大于90度，为0，夹角等于90度；
2.某条曲线在某点的梯度方向与该点的切线方向垂直；

常用概念

设某约束极值问题中的目标函数为 f(x) ，约束条件为 gi(x)≥0 ， hi(x)=0
1.非线性规划的一般形式

⎧⎩⎨minf(x)hi(x)=0,gi(x)≥0,i=1,2,L,mj=1,2,L,l

或者

{minf(x)gj(x)≥0,j=1,2,L,l

2.起作用约束
设 x∗ 为非线性规划的一个可行解，当点 x∗ 不处在约束条件 gi(x)≥0 形成的可行域边界上，即 gi(x∗)>0 时，我们称该约束条件为点 x∗ 的一个不起作用约束（无效约束），因为当我们对该点做微小的抖动的时候，并不会收到什么影响；而当点 x∗ 在约束条件 gi(x)≥0 形成的可行域边界上时，即 gi(x∗)=0 时，我们称该约束条件为点 x∗ 的一个起作用约束，因为当我们对该点做微小的抖动时，该点会收到约束条件的限制。

3.可行下降方向

• 可行方向
  设 x∗ 为非线性规划的一个可行解， D 为该点的一个方向，若存在实数 λ0>0 ，使得对任意的 λ∈[0,λ0] 均有

  X∗+λD∈R
  则称方向 D 为一个可行方向
  可行方向的必要条件：若 D 是可行点 X∗ 处的任一可行方向，则对改点的所有起作用约束 gi(X)≥0 均有 ∇gi(X∗)TD≥0
  可行方向的充分条件：如果可行点 X∗ 的某一方向 D 满足条件 ∇gi(X∗)TD≥0 ，则该方向为该点的可行方向

• 下降方向
  设 X∗ 为非线性规划的一个可行解， D 为该点的一个方向，若存在实数 λ‘>0 ，使得对任意 λ∈[0,λ‘] 均有

  f(X∗+λD)<f(X∗)
  就称方向D为 X∗ 点的一个下降方向
  注：当目标函数 f(X) 在 X∗ 点的一阶泰勒展开满足：
  ∇f(X∗)T<0
  的方向 D 比为点 X∗ 的下降方向

• 可行下降方向
  如果方向 D 既是点X^*的可行方向，又是下降方向，则称该方向是该点的可行下降方向
  注：如果某点存在可行下降方向，则该点必然不是极小值点，如果某点为极小值点，那么必然不存在可行下降方向；在寻找极小值点时，应该沿着其可行下降方向寻找

最优性条件（K-T条件）

假设 X∗ 为目标函数 f(X) 的一个极小值点，且该点位于第一个约束条件形成的可行域边界上，那么必有 ∇g1(X∗)=0 与 −∇f(X∗) 在同一条直线上且方向相反，否则，该点就必然存在可行下降方向。那么必然存在实数 λ1≥0 ，使得

∇f(X∗)−λ1∇g1(X∗)=0

成立
故对于点 X∗ 如果有多个约束条件，那么必然有

∇f(X∗)−∑j∈Jλj∇gj(X∗)=0

成立
如果我们要把所有的约束条件都加进来，即让 gj(X∗) 既包括起作用约束条件，又包括无效约束条件（前面的搜值是起作用约束条件），我们需要加如下条件：

{λjgj(X∗)=0λj≥0

从上条件我们可以看到，当 gj(X) 为 X∗ 的一不起作用条件时， gj(X∗)>0 ，那么，要想保证 λjgj(X∗)=0 ，我们只能让 λj=0 。由于上述条件的存在，从而使得在公式 ∇f(X∗)−∑j∈Jλj∇gj(X∗)=0 中保证了不会出现不起作用条件。而当 gj(X) 为 X∗ 的起作用条件时， λj 可以为0也可以不为0
因此，我们可以得到最优性条件（K-T条件）如下：

⎧⎩⎨⎪⎪∇f(X∗)−∑j∈Jλj∇gj(X∗)=0λjgj(X∗)=0λj≥0

满足这个条件的点被称为库恩-塔克点（K-T点）
当我们把等约束条件加入则有：

⎧⎩⎨⎪⎪∇f(X∗)−∑i∈Iγi∇hi(X∗)−∑j∈Jλj∇gj(X∗)=0λjgj(X∗)=0λj≥0

其中， λj 与 γi 称为广义拉格朗日乘子
注：要保证极值点起作用约束的梯度线性无关，且对于大部分情况来说，该条件是该点为极值点的必要条件，但如果该问题为凸规划问题，那么该条件则为充要条件。因此当我们研究的优化问题为一个凸优化问题时，我们就可以通过K-T条件来求得极值点