机器学习面试必知：一文理解支持向量机(SVM)

1. 首先我们要是决策距离最大化

• 我们先来求点$x$到一个超平面$f(x)=w^{T}x+b$的距离：
  假设有一点$x$，垂直投影到超平面上对应点为$x_0$, $w$是垂直于超平面的一个向量， $\gamma$为样本$x$到超平面的距离。易知$x=x_0+\gamma \frac{w}{||w||}$, 同乘$w^T$, $w^{T}x=w^T{x}_0+\gamma w^T\frac{w}{||w||}$。因为$w^T{x}_0=-b$，所以可以化解为$w^{T}x+b=\gamma \frac{||w|{|}^2}{||w||}$，可以得到$\gamma =\frac{f(x)}{||w||}$，这里我们只关心那些分类正确的点$\frac{t_{n}f(x_n)}{||w||},t_{n}f(x_n)⩾1$。所以我们就有了目标函数$$max\frac{1}{||w||}=min0.5\ast ||w|{|}^2$$ $$\mathrm{s}.\mathrm{t}.(w^T\varphi (x_n)+b)t_n⩾1,n=1,...,N$$

• 为了更好地引出核函数，我们假设先对x做了一个预处理$\varphi (x)$

2. 变换到对偶问题求解出$w$
$$L(w,a,b)=\frac{1}{2}||w|{|}^2-\sum _{n=1}^N{a}_n((w^T\varphi (x_n)+b)t_n-1)$$

• 首先固定$a$，让L分别对w和b求偏导等于0得到$$w=\sum _{n=1}^N{a}_n{t}_n\varphi (x_n)$$ $$\sum _{n=1}^N{a}_n{t}_n=0$$将结果代入得到$$L(a)=\sum _{n=1}^N{a}_n-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{a}_n{a}_m{t}_n{t}_{m}K(x_n,x_m)$$
• 求解a的极大化,其中$K(x_n,x_m)={\varphi }^T(x_n)\varphi (x_m)$是核函数 $$max\left\{\sum _{n=1}^N{a}_n-\frac{1}{2}\sum _{n=1}^N\sum _{m=1}^N{a}_n{a}_m{t}_n{t}_{m}K(x_n,x_m)\right\}$$$$\text{s.t. }{a}_n⩾0,\sum _{n=1}^N{a}_n{t}_n=0,K(x_n,x_m)={\varphi }^T(x_n)\varphi (x_m)$$

3. 求解b

• 我们把w代入可以超平面得$f(x)={\sum }_{n=1}^N{a}_n{t}_{n}K(x,x_n)+b$利用KKT条件得到$$a_n⩾0$$ $$t_{n}f(x_n)-1⩾0$$ $$a_n\left\{t_{n}f(x_n)-1\right\}=0$$所以只存在两种情况要吗$a_n=0$此时$(x_n,t_n)$是无关数据或者$a_n̸=0,t_{n}f(x_n)-1=0$此时$(x_n,t_n)$是决策边缘边界上的点。从这里可以看出SVM仅仅与决策边界上的数据点有关，与其余的数据点无关。假设有效的点分布在一个S空间中那么我们用支持向量$x_n$就能确定b。由$t_{n}f(x_n)=1$我们可以得到(其中$N_S$是支持向量的总数量)$$t_n\left\{\sum _{m\in S}{a}_m{t}_{m}K(x_n,x_m)+b\right\}=1$$$$t_n^2\left\{\sum _{m\in S}{a}_m{t}_{m}K(x_n,x_m)+b\right\}=t_n$$$$b=\frac{1}{N_S}\sum _{n\in S}\left\{t_n-\sum _{m\in S}{a}_m{t}_{m}K(x_n,x_m)\right\}$$