有约束优化之拉格朗日乘子法求解

有约束优化之拉格朗日乘子法求解

本篇文章将详解带有约束条件的最优化问题，约束条件分为等式约束与不等式约束，对于等式约束的优化问题，可以直接应用拉格朗日乘子法去求取最优值；对于含有不等式约束的优化问题，可以转化为在满足 KKT 约束条件下应用拉格朗日乘子法求解。

拉格朗日求得的并不一定是最优解，只有在凸优化的情况下，才能保证得到的是最优解，所以本文称拉格朗日乘子法得到的为可行解，其实就是局部极小值。

等式约束

$\underset{x}{\min }f(x)$
$s.t.g(x)=0$

拉格朗日乘子法思路：
首先假设解为$x_{\ast }$,则有：
1）$g(x_{\ast })=0$，且$g(x)=0$在点$x_{\ast }$的法向量$\nabla g(x_{\ast })$必然正交于该约束曲面。
2）$f(x)$在点$x_{\ast }$的梯度$\nabla f(x_{\ast })$正交于该约束曲面。
则梯度向量同方向必有$\nabla f(x_{\ast })+\lambda \nabla g(x_{\ast })=0$，且$\lambda ̸=0$。
总的求解条件就是：
$$\{\begin{array}{l}\nabla f(x_{\ast })+\lambda \nabla g(x_{\ast })=0\\ g(x_{\ast })=0(1)\\ \lambda ̸=0\end{array}$$
如果构造拉格朗日函数:$L(x,\lambda )=f(x)+\lambda g(x)$,则原等式约束问题等价于如下优化问题：
$\underset{x,\lambda }{\min }L(x,\lambda )$
$s.t.\lambda ̸=0$
求解:
$\frac{\partial L}{\partial x}=0$
$\frac{\partial L}{\partial \lambda }=0$
可到求解条件(1).

不等式约束

$\underset{x}{\min }f(x)$
$s.t.g(x)\le 0$

拉格朗日乘子法思路：
首先假设解为$x_{\ast }$,则有：
1）如果解在约束边界上，即$g(x_{\ast })=0$，则$g(x)=0$在点$x_{\ast }$的法向量$\nabla g(x_{\ast })$必然正交于该约束曲面，且$f(x)$在点$x_{\ast }$的梯度$\nabla f(x_{\ast })$正交于该约束曲面。且梯度方向相反，否则解将移动到约束边界内。所以有：
$$\{\begin{array}{l}g(x_{\ast })=0\\ \nabla f(x_{\ast })+\lambda \nabla g(x_{\ast })=0(2)\\ \lambda >0\end{array}$$
2）如果解在约束边界内，即$g(x_{\ast })<0$，则约束条件不起作用，有$\nabla f(x_{\ast })=0$。所以有：
$$\{\begin{array}{l}g(x_{\ast })<0\\ \nabla f(x_{\ast })=0\end{array}$$
或者（为了合并）
$$\{\begin{array}{l}g(x_{\ast })<0\\ \nabla f(x_{\ast })+\lambda \nabla g(x_{\ast })=0(3)\\ \lambda =0\end{array}$$
则合并(2)(3)总的求解条件(KKT)就是：
$$\{\begin{array}{l}g(x_{\ast })\le 0\\ \nabla f(x_{\ast })+\lambda \nabla g(x_{\ast })=0(4)\\ \lambda \ge 0\\ \lambda g(x_{\ast })=0\end{array}$$
如果构造拉格朗日函数:$L(x,\lambda )=f(x)+\lambda g(x)$,则原不等式约束问题等价于如下优化问题：

$$\begin{gathered} \underset{x,\lambda }{\min }L(x,\lambda ) \\ s.t.\{\begin{array}{l}g(x)\le 0\\ \lambda \ge 0\\ \lambda g(x)=0\end{array} \end{gathered}$$
求解:
$\frac{\partial L}{\partial x}=0$
$\frac{\partial L}{\partial \lambda }=0$
可到求解条件(4).

对于不等式约束，只要满足一定的条件，依然可以使用拉格朗日乘子法解决，这里的条件便是 KKT 条件

注意梯度，法向量，切线，导数区别。