通俗理解拉格朗日乘数法

再理解拉格朗日乘数法

笔记来源：Understanding Lagrange Multipliers Visually
本人相关博客：
1.方向导数和梯度向量
2.最小二乘和回归线、拉格朗日乘数、二元泰勒多项式、带约束变量的偏导数

函数：$z=f(x,y)$（上图只显示了约束条件下的函数图像）
约束条件：$g(x,y)=k$（图中显示的是其投影）
红色线为函数与约束条件的交线，求函数在约束条件下的最值，意味着在红色交线中寻找最小值和最大值，即$z_{\text{min}}、z_{\text{max}}$


我们发现当红色交线上切线处于水平状态时，切点处要么是最大值要么是最小值，究竟是为什么呢？我们想象一个小球沿着红色交线滚动，某切点上的切线呈现水平状态意味着小球在该切点处刚好没有了向上坡或下坡的动能，也就是小球要么在最高处，要么在最低处。该切线方向上函数值无变化，而梯度方向是函数值变化最大的方向，故二者互相垂直（想象水往山下流，微观上同一高度的方向和上山下山方向是不是垂直）

当函数的梯度方向和约束条件的梯度方向平行时，综合效果就是红色交线上的梯度方向，把小球限制在了最高点或最低点（上图为俯视图）