拉格朗日对偶问题（李航《统计学习方法》）

思路

---

具体的公式就不黏贴了，只把大体思路记录下来，方便本人及有需要的人查阅。具体讲解可以去看李航的《统计学习方法》。
首先给出一个原始问题，原始问题一般都是带约束条件的，第一步就是利用拉格朗日乘子将原始问题转化为无约束最优化问题。

将x视作常量，α，β视作变量，先求出α，β使得L（x, α，β）取得最大值，然后将之再视作x的函数。再求其极小值，这样就把原始问题转换为广义拉格朗日函数的极小极大问题，这两者是同解的。

对偶问题就是将极小极大问题转换为了极大极小问题，说的再通俗一点，就是将L前面的min和max对调了一下。

假设原始问题的最优解为p*，对偶问题的最优解为d*，如果这两者都存在，那么d*≤p*，那么什么时候d*=p*，就是看KKT条件了。