【支持向量机SVM】 函数间隔设为1原因 详解

\quad 这几天看SVM，优化问题那里习惯上函数间隔设为1，一直没看到比较令人信服的详解，这里我提一下。

线性可分支持向量机的约束优化原始问题：
$$\begin{gathered} \underset{w,b}{\max }\frac{\hat{\gamma }}{||w||} \\ s.t.y_i(\mathbf{w}\cdot x_i+b)\ge \hat{\gamma },i=1,2,...,N \end{gathered}$$
上式中$\hat{\gamma }$即为函数间隔，且
$$\hat{\gamma }=min{y}_i(\mathbf{w}\cdot {\mathbf{x}}_{\mathbf{i}}+b)$$
\quad 如果函数间隔可以任意设置，比如令${\hat{\gamma }}^{\prime }=1$
，做法就是在原来的函数间隔表达式两边同除$\gamma$，那么新的函数间隔必须满足
$${\hat{\gamma }}^{\prime }=min{y}_i({\mathbf{w}}^{\prime }\cdot {\mathbf{x}}_{\mathbf{i}}^{\prime }+b)=1$$
其中
$$\begin{gathered} {\mathbf{w}}^{\prime }=\frac{\mathbf{w}}{\hat{\gamma }} \\ {b}^{\prime }=\frac{b}{\hat{\gamma }} \end{gathered}$$
也就是说强行令函数间隔取1之后，原来描述的超平面是$(\mathbf{w},b)$，现在描述的超平面变成了$(\frac{\mathbf{w}}{\hat{\gamma }},\frac{b}{\hat{\gamma }})$，但是w,b的同比例变化并不会改变所描述的超平面，函数间隔取其他值同理。
\quad 更进一步，我们看看SVM的约束优化原始问题是否会受函数间隔影响。取函数间隔${\hat{\gamma }}^{\prime }=1$后，超平面当前的描述为$(\frac{\mathbf{w}}{\hat{\gamma }},\frac{b}{\hat{\gamma }})$，对应的原始问题：
\quad 首先看优化目标：
$$\underset{w^{\prime },b}{\max }\frac{{\hat{\gamma }}^{\prime }}{||w^{\prime }||}\Rightarrow \frac{1}{||\frac{\mathbf{w}}{\hat{\gamma }}||}\Rightarrow \frac{\hat{\gamma }}{||w||}$$
可见，优化的目标函数不变。
\quad 变化后的约束不等式：
$$\begin{gathered} s.t.y_i(\frac{\mathbf{w}}{\hat{\gamma }}\cdot x_i+\frac{b}{\hat{\gamma }})\ge 1,i=1,2,...,N \\ \Rightarrow s.t.y_i(\mathbf{w}\cdot x_i+b)\ge \hat{\gamma },i=1,2,...,N \end{gathered}$$
约束不等式也不变。
综上，任意改变函数间隔不会影响SVM的优化原始问题