拉格朗日及其对偶问题——SVM

拉格朗日的本质：寻找两个函数的梯度相平行的点，即目标函数的等高线与约束条件的曲线相切的点。

【例子：寻找双曲线xy=3上到原点最近的点。则目标函数是z=x²+y²(这是一口向上的锅，其等高线很容易画。】

原问题：

广义拉格朗日：

设定：

即：

则：

则原始问题变为：

令

定义：

则对偶问题为：

令：

则：

【假设f和g是凸函数，h是仿射的，g是严格可执行的，即存在w使得对于所有的i有g_i(w)<0】