拉格朗日&KKT条件极值求解

拉格朗日乘数法(等式约束条件极值)

基础用法

设,若$x,y$满足$x+3y=5xy$,求$3x+4y$的最小值:

构建拉格朗日函数:

$$L(x,y,\lambda )=3x+4y+\lambda (x+3y-5xy)$$
分别对$L(x,y,\lambda )$中的$x,y,\lambda$求导,并令偏导数等于0,用于求出拉格朗日函数的驻点.

注意:驻点不一定就是极值点
则得到一下方程组
$$\{\begin{array}{llcc}{L}_x^{\prime }=3+\lambda (1-5y)=0& & & (1)\\ L_y^{\prime }=4+\lambda (3-5x)=0& & & (2)\\ L_{\lambda }^{\prime }=x+3y+5xy=0& & & (3)\end{array}$$
由上式$(1)(2)$消去$\lambda$,可求得:
$$3x-1=4y(4)$$
将$(4)$式带入到$(3)$中求得:
$$\{\begin{array}{l}x=1\\ \\ y=\frac{1}{2}\end{array}或\{\begin{array}{l}x=\frac{1}{5}\\ \\ y=-\frac{1}{10}\end{array}$$
分别将两组解(也是拉格朗日函数的驻点)带入到$3x+4y$中,分别得到:
$$\begin{gathered} 3\ast 1+4\ast \frac{1}{2}=5 \\ 或 \\ 3\ast \frac{1}{5}+4\ast (-\frac{1}{10})=\frac{1}{5} \end{gathered}$$
所以最小值为:$\frac{1}{5}$

多条件情况

例如:在满足条件$g(x,y)=0\psi (x,y)=0$的条件下,求$f(x,y)$的极值,可以构建拉格朗日函数:

$$L(x,y,\lambda ,\eta )=f(x,y)+\lambda g(x,y)+\eta \psi (x,y)$$
在分别求$x,y,\lambda ,\eta$的偏导数,并令其等于0,最终求解方程组,得到$f(x,y)$的驻点,再带入原方程得到极值

拉格朗日乘数法通用公式定义

等式约束优化一般形式,其中$h_k(x_1,x_2,x_3...,x_n)$是一个集合,标示不同的约束条件,也就是上述$L(x,y,\lambda ,\eta )=f(x,y)+\lambda g(x,y)+\eta \psi (x,y)$中的函数$g(x,y)$和$\psi (x,y)$:

$$\begin{gathered} minf(x_1,x_2,x_3...,x_n) \\ s.t.h_k(x_1,x_2,x_3...,x_n)=0k\in (1,2,3,...,l) \end{gathered}$$
构造拉格朗日函数,其中${\lambda }_k$标示不同条件的乘子,也就式上述$L(x,y,\lambda ,\eta )=f(x,y)+\lambda g(x,y)+\eta \psi (x,y)$中的$\lambda$和$\eta$:

$$L(x_1,x_2,x_3...,x_n,{\lambda }_0,{\lambda }_1,{\lambda }_2,...,{\lambda }_k)=f(x_1,x_2,x_3...,x_n)+{\lambda }_k\sum _{k=0}^l{h}_k(x_1,x_2,x_3...,x_n)$$
将$x_1,x_2,x_3...,x_n$用$x_{i}i\in (1,2,3,...,n)$,${\lambda }_1,{\lambda }_2,...,{\lambda }_k$用${\lambda }_{k}k\in (0,1,2,...,l)$标示,上式可以写为:
$$L(x_i,{\lambda }_k)=f(x_i)+{\lambda }_k\sum _{k=0}^l{h}_k(x_i)i\in (1,2,3,...,n)k\in (0,1,2,...,l)$$
建立方程组:

$$\{\begin{array}{l}\frac{\Delta L}{\Delta x_i}=0i\in (1,2,3,...,n)\\ \\ \frac{\Delta L}{\Delta {\lambda }_k}=0k\in (1,2,3,...,l)\end{array}$$
根据上诉方程组,求出驻点,并带入到原函数$f(x)$当中验证,并最终得到极值点.

KKT(不等式约束条件极值)

不等式条件极值求解的思路是将不等式约束转换为等式约束,如有一下求解问题:
$$\begin{gathered} minf(x_i)i\in (0,1,2,...,n) \\ s.t.g_k(x_i)\le 0i\in (0,1,2,...,n)k\in (0,1,2,...,l) \end{gathered}$$
将上式的不等式约束添加一个松弛变量,让不等式变成等式,由于$g_k(x_i)\le 0$,需要在不等式左边加上一个非负数,因此松弛变量为$a_k^2$,这样就不需要在引入新的约束$a_k\ge 0$:
$$h_k(x_i,a_k)=g_k(x_i)+a_k^2=0$$
则,转换后,原来的不等式约束可以写成:
$$\begin{gathered} minf(x_i)i\in (0,1,2,...,n) \\ s.t.h_k(x_i,a_k)=g_k(x_i)+a_k^2=0i\in (0,1,2,...,n)k\in (0,1,2,...,l) \end{gathered}$$
根据等式约束条件极值的求法,可以写出拉格朗日函数为:
$$L(x_i,{\lambda }_k,a_k)=f(x_i)+{\lambda }_k\sum _{k=0}^l[g_k(x_i)+a_k^2]$$
建立方程组:
$$\{\begin{array}{l}\frac{\Delta L}{\Delta x_i}=0i\in (0,1,2,...,n)\\ \\ \frac{\Delta L}{\Delta {\lambda }_k}=0k\in (0,1,2,...,l)\\ \\ \frac{\Delta L}{\Delta a_k}=0k\in (0,1,2,...,l)\end{array}$$
根据上述方程组最终求解得到极值点

等式约束&条件约束极值

条件极值问题可写为:
$$\begin{gathered} minf(x_i)i\in (0,1,2,...,n) \\ s.t.h_k(x_i)=0i\in (0,1,2,...,n)k\in (1,2,3,...,l) \\ s.t.g_m(x_i)\le 0i\in (0,1,2,...,n)m\in (0,1,2,...,z) \end{gathered}$$
可转换为:
$$\begin{gathered} minf(x_i)i\in (0,1,2,...,n) \\ s.t.h_k(x_i)=0i\in (0,1,2,...,n)k\in (1,2,3,...,l) \\ s.t.\psi (x_i,a_m)=g_m(x_i)+a_m^2=0i\in (0,1,2,...,n)m\in (0,1,2,...,z) \end{gathered}$$
拉格朗日函数:
$$\begin{gathered} L(x_i,{\lambda }_k,{\eta }_m,a_m)=f(x_i)+{\lambda }_k\sum _{k-0}^l{h}_k(x_i)+{\eta }_m\sum _{m=0}^z[g_m(x_i)+a_m^2] \\ i\in (0,1,2,...,n)k\in (1,2,3,...,l)m\in (0,1,2,...,z) \end{gathered}$$
建立方程组:
$$\{\begin{array}{l}\frac{\Delta L}{\Delta x_i}=0i\in (0,1,2,...,n)\\ \\ \frac{\Delta L}{\Delta {\lambda }_k}=0k\in (0,1,2,...,l)\\ \\ \frac{\Delta L}{\Delta {\eta }_m}=0m\in (0,1,2,...,z)\\ \\ \frac{\Delta L}{\Delta a_m}=0m\in (0,1,2,...,z)\end{array}$$
求解方程组,得到极值点