拉格朗日乘数法，拉格朗日对偶和KKT约束

拉格朗日乘数法

拉格朗日乘数法是求变量在一个或多个约束下的极值问题

eg：已知双曲线 $xy=3$，求曲线上距离原点最近的点。
由题我们可以得出如下式子：
$$minf(x,y)=x^2+y^2$$
\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad subject to constraint $xy=3$ \quad $\to$ \quad $g(x,y)=3$
解:
求极值，意味着两条线在极值点处相切，即 $\Delta f=\lambda \ast \Delta g$
$$\frac{\Delta f\left(x,y\right)}{\Delta x}=2x=\lambda \ast \frac{\Delta g\left(x,y\right)}{\Delta x}=\lambda \ast y$$
$$\frac{\Delta f\left(x,y\right)}{\Delta y}=2y=\lambda \ast \frac{\Delta g\left(x,y\right)}{\Delta y}=\lambda \ast x$$
$$g(x,y)=3$$
$2x-\lambda y=0$
$\lambda x-2y=0$
$xy=3$
上述三个方程可以化解成矩阵进行求解：
$$\left[\begin{array}{cc}2& -\lambda \\ \lambda & -2\end{array}\right]\ast \left[\begin{array}{c}x\\ y\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$$
只有在行列式值为0时，等式才成立并满足约束条件：
$$\left[\begin{array}{cc}2& -\lambda \\ \lambda & -2\end{array}\right]=-4+{\lambda }^2=0\iff \lambda =\pm 2$$
最后可得$x=y=\sqrt{3}或者x=y=-\sqrt{3}$，其中$\lambda$就是拉格朗日乘子。

拉格朗日对偶

1. 原始问题：
   $$minf(x)$$
   \qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad s.t. $c_i(x)⩽0，i=1,2......k$
   \qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad $h_j(x)=0,j=1,2....l$
   本来只是求函数$f(x)$的最小值，可以通过求导最后得出极值，但是题中还有约束条件，我们希望尽量消掉约束条件，为此，我们先引入广义拉格朗日函数：
   $$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{a}_i{c}_i(x)+\sum _{j=1}^l{b}_j\ast h_j(x)$$
   其中$a_j,b_j$都是前面说过的拉格朗日乘子(即上文中的参数$\lambda$)，特别要求$a_i⩾0$，我们用下标p表示原始问题，则原始问题可表示成：
   $${\theta }_p(x)=\underset{a_i⩾0}{\min }L(x,\alpha ,\beta )$$
   考虑，如果$x$违反约束条件，即$c_i(x)>0$或者$h_j(x)̸=0$，只要出现其中的某一种情况，则一定会使得${\theta }_p(x)$的最大值为正无穷，由此我们可得${\theta }_p(x)=f(x)$：

$${\theta }_p(x)=\{\begin{array}{r}f(x),x满足约束关系\\ +\infty ,x不满足约束关系\end{array}$$
2. 对偶问题
$${\theta }_D(\alpha ,\beta )=\underset{x}{\min }L(x,\alpha ,\beta )$$
则最大化：${\max }_{{\alpha }_i⩾0}{\theta }_D(x,\alpha ,\beta )={\max }_{{\alpha }_i⩾0}{\min }_{x}L(x,\alpha ,\beta )$称为广义拉格朗日函数的极大极小问题。
将其转化为约束问题则为：
$$\max {\theta }_D(x,\alpha ,\beta )=\max \underset{x}{\min }L(x,\alpha ,\beta )$$
$$s.t.a_i⩾0$$
称为原始问题的对偶问题。
3. 原始问题和对偶问题的关系

定理，若原始问题和对偶问题都有最优值，则：
$$d^{\ast }=\underset{{\alpha }_i⩾0}{\max }\min L(x,\alpha ,\beta )⩽\min \underset{{\alpha }_i⩾0}{\max }L(x,\alpha ,\beta )=p^{\ast }$$
在某些条件下$d^{\ast }$=$p^{\ast }$,则可以用对偶问题代替原始问题

KKT约束

上文说了在某些条件下，原始问题和对偶问题两者的极值相等，KKT约束主要就是在说这个某些条件具体指的是什么条件。
需满足$f(x)$和$c_i(x)$都是凸函数，$h_j(x)$为仿射函数（$h_j(x)=\omega \ast X+b$），并且不等式约束条件$c_i(x)$一定要满足，即对偶的参数$x^{\ast },{\alpha }^{\ast },{\beta }^{\ast }$要满足：
$$\{\begin{array}{r}{\Delta }_{x}L(x^{\ast },{\alpha }^{\ast },{\beta }^{\ast })=0\\ {\Delta }^{\ast }{\alpha }_i{c}_i(x^{\ast })=0,i=1,2.....k\\ c_i(x^{\ast })⩽0\\ a_i^{\ast }⩾0\\ h_j(x^{\ast })=0\end{array}$$
即这五个条件就被称为KKT约束。