SVM-拉格朗日乘子法

学习:b站白板推导
公式来源:
https://www.yuque.com/bystander-wg876/yc5f72/pdv5ry

SVM hard margin 思想是间隔最大化,
即将样本点都投影到另一个平面,使得投影点之间的间隔最大。

那么怎么找到这个平面呢,就是有无数个平面,样本点投影到平面,那么这其中肯定有距离最短的点,
每一个平面面取一个最短距离点,这些点做为一个集合,再在这个集合里取最大的距离的点所在的平面,
那么这个平面就一定是投影间隔最大的平面了。

所以数学模型就是  argmax min投影距离

因此将模型转化为优化问题求解。
一般约束优化问题(原问题):
可以使用lagrange乘子法将约束(即 mi(x)、nj(x))写入函数中
就相当于无约束了

SVM-拉格朗日乘子法_第1张图片

Lagrange函数:
有约束(lambda>=0),但是关于x的约束没了。

SVM-拉格朗日乘子法_第2张图片

原问题(有约束问题)就等价于以下无约束问题:

在这里插入图片描述

这里maxL() 和约束 lambda>=0 共同把原问题的mi(x)>=0的x丢掉:

因为当mi(x)>0,maxL() 就为正无穷。
而当mi(x)<=0,当mi(x)=0时,有maxL()为f(x)。

因此maxL()有两个取值:正无穷和f(x)。
因此min maxL() 就等价于 minf(x),min的作用就是把取值为正无穷的x刷掉。
因此原问题和无约束问题等价
那么这 min maxL() 求解是需要使用对偶问题求解:
将求 x的最小化转化为求另外两个参数的最大化

在这里插入图片描述

而对于对偶问题,显然有:
max minL() <= min maxL()

证明:
minL() <= L() <= maxL() (不管他们的是对于x还是另外两个参数,都成立)
所以 max min(L) <= L <= min max(L)
因此 max min(L) <= min max(L)

因此对偶问题的解恒小于原问题
因此,

你可能感兴趣的:(机器学习,统计学)