拉格朗日乘数法基础

背景

线性可分 SVM 的目标函数最终转换为一个带约束条件的求极值问题，而拉格朗日乘子法，恰恰是一种多元函数在变量受到条件约束时，求极值的方法。正好可以用来解决 SVM 的目标函数最优化。

那么拉格朗日乘数法的理论过程如何呢？

本文将摘录高等数学下册中拉格朗日乘数法的数学知识，08年学的高等数学下册，十多年了早还给老师了，只是还保留着当年的书本，这次春节回家把两本高数书带来了，当作AI学习的参考资料。

（百度来的图片）理工科的同学们看到它有没有觉得很亲切？

拉格朗日乘数法

这段话作为引言，说明多元函数求取最大值的过程中，受限于一定的条件，接下来以长方体体积的问题继续讨论。

公式（1）和（2）比较好理解，分别表示我们待求取的问题的二元函数和二元函数满足的约束条件。

这里求取了y关于自变量x的隐函数Ψ（x)，那么z就转换为一元函数了。
关于公式（5）和（2）隐函数的求导公式的知识还要再查找补充下，这里姑且就当作是已知条件吧，继续看后面的说明过程。

（图四）

式子（7）中的第一、三两个好理解，第二个怎么来的待解释。

实际应用：

启示录

从图四拉格朗日乘法的说明来看，本质上就是构造了一个拉格朗日函数，然后分别对其求偏导数，加上约束条件而得到的式子（8）本质上跟前面推导过程中的假设得到的公式（7）一致。

我的感觉这也仅仅是一个知识点的介绍，关键的思想并没有提及：比如，为什么拉格朗日函数是关于x,y的两个函数呢？它把目标函数f(x,y)和限制函数φ(x,y)整合在一起，对求极值的意义何在？

扩展搜索时在知乎上看到一个例子解释这个公式比较清晰的，参考链接为：https://www.zhihu.com/question/38586401/answer/134473412
点击GIF动态图有助于更好理解推导过程。