关于SVM中函数间隔与几何间隔问题总结(SVM系列)

1.定义

1.1函数间隔:关于SVM中函数间隔与几何间隔问题总结(SVM系列)_第1张图片

1.2 几何间隔:

关于SVM中函数间隔与几何间隔问题总结(SVM系列)_第2张图片

2.相同的超平面,会产生不同的函数间隔

在优化问题中,由于函数间隔会导致优化函数趋于无穷大,故我们需要找到一个与超平面一一对应的间隔表示方式,即几何间隔,其通过将超平面的法向量的模固定为1,从而使得一个超平面与一个点之间,只有唯一的间隔函数。

3.最优化问题

3.1

关于SVM中函数间隔与几何间隔问题总结(SVM系列)_第3张图片

在SVM中,最优化问题可以表示为如上所示,记作 形式(a)。

通过带入函数间隔与几何间隔的关系式,可以得到如下形式,记作 形式(b):关于SVM中函数间隔与几何间隔问题总结(SVM系列)_第4张图片

3.2 将函数间隔规定为1

可以从如下角度理解:

        假设将w,b按比例改成λw,λb,此时函数间隔变为λγ*,可以看到,函数间隔γ*按一定倍数缩放时,所得到的最优超平面不会改变,即都能化成形式(a)。故可将函数间隔直接设为1。此观点来自于李航《统计学习方法》一书中。

        对于固定的点集,当超平面固定时,如线性可分(即最优解存在),此问题的最优超平面的最小几何间隔一定为一固定值,即从形式(a)中求得的最优化解。但对应多个函数间隔,其不同之处为γ*的不同取值

(未完)

你可能感兴趣的:(机器学习)