机器学习中的函数间隔和几何间隔

一、函数间隔

函数间隔

一般来说， 一个点距离分离超平面的远近可以表示分类预测的确信程度。在超平面 $w\cdot x+b=0$ 确定的情况下， $|w\cdot x+b|$能够相对地表示点距离超平面的远近。 $w\cdot x+b$ 的符号与类标记 $y$ 的符号是否一致能够表示分类是否正确。所以可用 $y(w\cdot x+b)$来表示分类的正确性及确信度，这就是函数间隔(functional margin)的概念。
定义

对于给定的训练数据集 $T$ 和超平面 $(w,b)$，定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$的函数间隔为：
$$\widehat{{\gamma }_i}=y_i(w\cdot x_i+b)$$
定义超平面 $(w,b)$ 关于训练数据集 $T$ 的函数间隔为超平面 $(w,b)$ 关于 $T$ 中所有样本点 $(x_i,y_i)$ 的函数间隔最小值，即：
$$\hat{\gamma }=\underset{i=1,2,...,N}{\min }\widehat{{\gamma }_i}$$

当选择分离超平面时，只有函数间隔还不够。因为只要成比例地改变，例如将它们改为 $(2w,2b)$，平面并没有改变，但函数间隔却成为原来的两倍。所以可以对分离超平面的法向量加某些约束，如规范化，$||w||=1$，使得间隔是确定的 。这时函数间隔成为几何间隔 (geometric margin)

二、几何间隔

定义

对于给定的训练数据集 $T$ 和超平面 $(w,b)$，定义超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$的几何间隔为：
$${\gamma }_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})$$
定义超平面 $(w,b)$ 关于训练数据集 $T$ 的几何间隔为超平面 $(w,b)$ 关于 $T$ 中所有样本点 $(x_i,y_i)$ 的几何间隔最小值，即：
$$\gamma =\underset{i=1,2,...,N}{\min }\widehat{{\gamma }_i}$$
超平面 $(w,b)$ 关于样本点 $(x_i,y_i)$ 的几何间隔 般是实例点到超平面的带符号的距离 (signed distance) ，当样本点被超平面正确分类时就是实例点到超平面的距离。

三、函数间隔和几何间隔的关系

$${\gamma }_i=\frac{{\hat{\gamma }}_i}{||w||}$$

$$\gamma =\frac{\hat{\gamma }}{||w||}$$

若 $\Vert w\Vert =1$，那么函数间隔和几何间隔相等，如果超平面参数成比例地改变(超平面没有改变) ，函数间隔也按此比例改变，而几何间隔不变