2018-04-22 开胃学习数学系列 - Lagrange Multiplier

关于拉格朗日乘子法，我在课上经常遇见。基础太差了。决定好好再看一次。

举个2维的例子来说明：
自变量x和y，
约束条件g(x,y)=c，
要求f(x,y)在约束g下的极值。
我们可以画出f的等高线图，如下图。

此时，约束g=c由于只有一个自由度，因此也是图中的一条曲线（红色曲线所示）。

显然地，当约束曲线g=c与某一条等高线f=d1相切时，函数f取得极值。
两曲线相切等价于 => 两曲线在切点处拥有共线的法向量。因此可得函数f(x,y)与g(x,y)在切点处的梯度（gradient）成正比。于是我们便可以列出方程组求解切点的坐标(x,y)，进而得到函数f的极值。

同样的内容，再简单一点的解释：
目标函数f(x,y) 是一座山的高度，约束g(x,y) = c 是镶嵌在山上的一条曲线如下图。
为了找到曲线上的最低点，就从最低的等高线（0那条）开始网上数。数到第三条，等高线终于和曲线有交点了（如上图所示）。因为比这条等高线低的地方都不在约束范围内，所以这肯定是这条约束曲线的最低点了。

而且约束曲线在这里不可能和等高线相交，一定是相切。因为如果是相交的话，如下图所示，那么曲线一定会有一部分在B区域，但是B区域比等高线低，这是不可能的。

两条曲线相切，意味着他们在这点的法线平行，也就是法向量只差一个任意的常数乘子，取为 - λ：

▽f(x,y) = - λ▽g(x,y)
把这个式子的右边移到左边，并把常数移进微分算子，就得到
▽ ( f(x,y) - λg(x,y) ) = 0
把这个式子重新解释一下，这个就是函数( f(x,y) - λg(x,y) ) 无约束情况下极值点的充分条件。