数学基础-拉格朗日乘子法学习资料

最近学习支持SVM，其中目标函数是一个有约束条件下的最优化问题。 这个问题要用拉格朗日乘子法进行推导。个人本来打算写一篇文章来解释这个。后来通过查询，发现网上有很多资料，把这些读了一遍，发现疑问都解决了。所以在这里把资料汇总一下，与大家分享。

学习资料

数学扫盲----拉格朗日乘子法

拉格朗日乘子法：写得很通俗的文章

拉格朗日乘子法如何理解？

Understanding Lagrange Multipliers

视频学习：

万门大学-拉格朗日乘子法

要点摘抄：

处理步骤：

　　　1. 构造拉格朗日函数 
　　　2. 解变量的偏导方程 
　　　3. 代入目标函数即可 

适用场景：

       等式约束条件

几何意义：

在极值点，优化函数的等高线、优化函数与约束方程的交线、约束方程的投影线（类似约束曲面的等高线，约束曲线）相切于一点

极值点满足的条件：

1、极值点在优化函数及约束方程上；

2、在极值点，优化函数的等高线、优化函数与约束方程交线、约束曲线相切，优化函数与约束方程交线的梯度（导数）为0