KKT最优条件

申明：仅个人小记。

前言：

1. 文中默认函数都是可导的。
2. 已知最优点必然取自来自边界点和极值点，本文只讨论极值点部分。
3. 理清逻辑：
   (1)“条件” 指的是，只有满足了 “条件” 才有可能是极值点，但满足这个 “条件” 的点则不一定是极值点，但是借助这个 “条件” 则大大缩小了我们寻找极值点的范围。
   (2) 拉格朗日乘数法将等式约束条件求极值转化为无条件约束求极值
   (3) KKT条件分别将不等式约束求极值转化为无条件约束求极值和等式约束条件求极值，进而完全转化为无条件约束求极值问题。

一、无条件求极值

给定函数F,求该函数的极值。极值点的各个偏导数为零的点。这就是无条件情况下的求极值方法。

二、等式条件求极值

描述：

给定目标函数 $F$，等式约束条件为 $G_i=0,i=1,2,...,n$。所谓约束条件就是要满足的条件，故而 $F$ 的可行域就是所有使得 $n$ 个等式 $G_i=0,i=1,2,...,n$同时成立的所有$x$的集合。 即等式条件确定了 目标$F$ 的可行域，记可行域为 $D=\{x|G_i(x)=0\}$(注意到：$D$的维度和$x$的维度是相同的，而函数 $G$ 则是以$D$为定义域来取函数值的)。显然，对于$G_i$而言，在可行域 $D$ 上恒为$0$，进而 $G_i$在可行域 $D$ 上的导数恒为零。故而，$G_i$在$(x,G_i(x))$处的梯度必然垂直于可行域 $D$。

先交代拉格朗日乘数法的基本原理：

已知(1)：

任一函数 $G$ 的等高超曲面与 $G$ 的梯度垂直，“等高”即意味着 $\Delta G=0$，从而在该等高超曲面上 $G$ 的方向导数恒为 $0$，从而 $G$ 的梯度必然恒垂直于等高超曲面。

已知(2)：

每个等式条件构成一个等高超曲面，多个等式共同形成一个公共的等高超曲面，而F的可行域就是这个公共的等高超曲面。显然，当在这个公共的等高超曲面上移动时，恒有$\Delta G_i=0$。但是，注意没说是恒有$\Delta F=0$。

已知(3)：

如果x是F的极值点，则该点首先得是在F的可行域(即公共的等高超曲面)内；其次，当F在极值点x附近小可行域内移动时，该点处应有$\Delta F=0$，从而方向导数恒为0，即x处的各偏导数应为0。从而F在x的梯度必然垂直该小可行域。即垂直由等式条件构成的公共的等高超曲面。由因为该小可行域足够小时完全可以看作切平面，故而F的梯度垂直与公共的等高超曲面上在x处的切平面，故而“公共的等高超曲面”演变为某一点处的“公共的等高超平面”。

根据上述三条，注意到公共等高超平面”的法向量显然是各个等高超曲面在该点的法向量的线性表示，同时也和F的梯度共线。故而有，$$\nabla F+\sum _{i=1}^n{\lambda }_i\nabla G_i=0$$$$\nabla F=-\sum _{i=1}^n{\lambda }_i\nabla G_i=-{\lambda }_1\nabla G_1-{\lambda }_2\nabla G_2-...-{\lambda }_n\nabla G_n$$
注意拉格朗日乘数法里面的$\lambda$称为拉格朗日乘子，它符号不受限制。
从而转为了无条件极值问题。

三、不等式条件求极值

描述：

给定函数F,不等式条件为$G_i\le 0$，求F的极小（大）值 （注意到这里指明了要求F的极小值还是极大值）

分析：

$G=0$表示的是G的一个等高曲平面，而$G\le 0$则表示是$G=0$这个超曲面本身以及这个超曲面的一侧。

如果F的极值点x落在可行域的内部而不是边界，那么不等式条件失效，直接转为无条件求极值问题。
如果F的极值点x落在可行域的边界，那么不等式直接更写为等式，转为等式条件求极值问题。

注意： 在转为等式求极值过程中，拉格朗日乘子更名为KKT乘子，同时KKT乘子的符号是受限制的。原因分析：
(1) 当求F的极小值的时候，而且该极小值落在边界上，那么必然应该满足该点小于可行域内的F取值，即F在该点的梯度必然指向可行域内部。
(2) 不等式条件为$G\le 0$，所以知道可行域内部都是G<0的，边界时G=0，显然G的梯度必然指向可行域外侧而不是可行域的内侧

由(1)、(2)知，必然应满足$\nabla F=-{\mu }_1{G}_1-{\mu }_2{G}_2-...-{\mu }_n{G}_n$，其中的${\mu }_1,{\mu }_2,...,{\mu }_n\ge 0$