SVM-拉格朗日乘子法

学习：b站白板推导
公式来源：
https://www.yuque.com/bystander-wg876/yc5f72/pdv5ry

SVM hard margin 思想是间隔最大化，
即将样本点都投影到另一个平面，使得投影点之间的间隔最大。

那么怎么找到这个平面呢，就是有无数个平面，样本点投影到平面，那么这其中肯定有距离最短的点，
每一个平面面取一个最短距离点，这些点做为一个集合，再在这个集合里取最大的距离的点所在的平面，
那么这个平面就一定是投影间隔最大的平面了。

所以数学模型就是  argmax min投影距离

因此将模型转化为优化问题求解。

一般约束优化问题（原问题）：
可以使用lagrange乘子法将约束（即 mi(x)、nj(x)）写入函数中
就相当于无约束了

Lagrange函数：
有约束（lambda>=0）,但是关于x的约束没了。

原问题（有约束问题）就等价于以下无约束问题：

这里maxL() 和约束 lambda>=0 共同把原问题的mi(x)>=0的x丢掉：

因为当mi(x)>0，maxL() 就为正无穷。
而当mi(x)<=0，当mi(x)=0时，有maxL()为f(x)。

因此maxL()有两个取值：正无穷和f(x)。
因此min maxL() 就等价于 minf(x)，min的作用就是把取值为正无穷的x刷掉。
因此原问题和无约束问题等价

那么这 min maxL() 求解是需要使用对偶问题求解：
将求 x的最小化转化为求另外两个参数的最大化

而对于对偶问题，显然有：
max minL() <= min maxL()

证明：
minL() <= L() <= maxL() （不管他们的是对于x还是另外两个参数，都成立）
所以 max min(L) <= L <= min max(L)
因此 max min(L) <= min max(L)

因此对偶问题的解恒小于原问题

因此，