拉格朗日乘子法（Lagrange Multiplier）详解以及乘子lambda的意义

注：目前开通个人网站朝思录，之后的博文将在上面更新，CSDN博客会滞后一点

---

主要介绍经典拉格朗日乘子法的原理，之后讨论该方法中出现的参数$\lambda$的意义

拉格朗日乘子法的数学原理

经典拉格朗日乘子法是下面的优化问题（注：$\mathbf{x}$是一个向量）：
$$\begin{array}{c}{\min }_{\mathbf{x}}f(\mathbf{x})\\ s.t.g(\mathbf{x})=0\end{array}\text{\hspace{1em}(1)}$$

直观上理解，最优解${\mathbf{x}}_{optimal}$一定有这样的性质，以$\mathbf{x}$是二维变量为例：（网上下的图。为了符合行文风格，这里的$g(x,y)=c$应为$g(x,y)=0$）

这里采用等高线方式描述$f(x,y)$（对方程$f(x,y)=d$对不同$d$绘图），并绘制约束条件$g(x,y)=0$的曲线。可见，当$g(x,y)=0$与$f(x,y)$的某条等高线相切时，可取得最优解。

“当$g(x,y)=0$与$f(x,y)$的某条等高线相切”，是取得最优解的充要条件（前提是$f(x,y)$是凸函数），该条件可拆分成两部分：

1. $g(x,y)$与$f(x,y)$的某条等高线相切
2. $g(x,y)=0$

因为$g(x,y)$与$f(x,y)$的某条等高线相切，可等价于寻找使这两个函数梯度方向共线的点，所以上述条件可用方程组描述如下所示：
$$\begin{array}{r}\{\begin{array}{l}\nabla f(\mathbf{x})=\lambda \nabla g(\mathbf{x})\\ g(\mathbf{x})=0\end{array}\end{array}\text{\hspace{1em}(2)}$$
这时引入拉格朗日函数：
$$L(\mathbf{x},\lambda )=f(\mathbf{x})+\lambda g(\mathbf{x})\text{\hspace{1em}(3)}$$
该函数有这样的特性：
$$\begin{array}{r}\{\begin{array}{l}{\nabla }_{\mathbf{x}}L(\mathbf{x},\lambda )={\nabla }_{\mathbf{x}}f(\mathbf{x})+\lambda {\nabla }_{\mathbf{x}}g(\mathbf{x})\\ {\nabla }_{\lambda }L(\mathbf{x},\lambda )=g(\mathbf{x})\end{array}\end{array}\text{\hspace{1em}(4)}$$
即若令拉格朗日函数的梯度为零，即$(4)$式为零，即可得到方程$(2)$，虽然$\lambda$有所出入但不影响。

系数$\lambda$的作用

另外讨论一下$(3)$式中$\lambda$的意义：

由$(2)$式可以看出，$\lambda$在共线的基础上描述了目标函数和约束函数的梯度的长度比值。当然若以$(4)$为基准，$(2)$式第一项应写为$\nabla f(\mathbf{x})=-\lambda \nabla g(\mathbf{x})$，我们对该等式两边取绝对值如下，以消除正负号可能对读者带来的困扰。
$$|\lambda |=|\frac{\nabla f(\mathbf{x})}{\nabla g(\mathbf{x})}|\text{\hspace{1em}(5)}$$
可以发现，当$|\lambda |$越小，$\nabla g(\mathbf{x})$的模就越大于$\nabla f(\mathbf{x})$。极端情况下，$|\lambda \to 0|$，此时$|\nabla g(\mathbf{x})|\to \infty$。这意味着在$\mathbf{x}$点，$g(\mathbf{x})$几乎是垂直的，对增量非常敏感：当最优值不小心变一点点，条件$g(\mathbf{x})=0$将严重偏离；若$|\lambda |$很大，$g(\mathbf{x})$几乎是水平的，则其对增量不敏感（若$g(\mathbf{x})$的轻微偏离不会造成太大的损失，可以适当牺牲约束条件的精确性，来换取更优的解）。

换句话说，$|\lambda |$越小，其求得的结果灵敏度越高，反之越低；可以说$|\lambda |$是衡量最优解灵敏度的一种方法。（当然也可以直接求$\nabla g(\mathbf{x})$来衡量灵敏度，这样更绝对一点）