SVM的推导:为什么SVM最终模型仅和支持向量有关

SVM简而言之就是让两组点距离超平面达到最远。

超平面可以用$w^{T}x+b=0$表示。其中$w=(w_1;w_2;w_3..w_m)$是法向量。点$x=(x_1,x_2..x_m)$到超平面的距离为$\frac{|w^{T}x+b|}{||w||}$，其中||w||=$\sqrt{w_1^2+w_2^2+...+w_m^2}$，那么可以得到以下等式：
$$\begin{gathered} \frac{(wx+b)}{||w||}>=d,y_i=1 \\ \frac{(wx+b)}{||w||}<=-d,y_i=-1 \end{gathered}$$
合并一下可以写成
$$\frac{(wx+b)y_i}{||w||d}>=1$$
其中$||w||d$是正数，放缩一下让它等于1，对推导没有影响，而且$|w^T+b|$是常数，所以SVM的一般形式就是：
$$min\frac{||w||}{2},s.t,(wx+b)y_i>=1(公式1)$$

为了解决这个带约束的最优化问题，上拉格朗日乘数法
得到的对偶问题是(dual problem)是$$L(w,b,\alpha )=\frac{1}{2}||w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))$$

注意${\max }_{b,\alpha }L$和$\frac{||w||}{2},s.t,(wx+b)y_i>=1$是等价的，而$\min \max L$是和公式1等价的，把带约束的最优化问题转换成对偶问题是拉格朗日乘数法的思想。

对w和b分别求偏导并且置0$$\begin{gathered} \frac{\partial L}{\partial w}=w-\sum _{i=1}^m{\alpha }_i{y}_i{x}_i=0 \\ \frac{\partial L}{\partial b}=\sum _{i=1}^m{\alpha }_i{y}_i=0 \end{gathered}$$

把上面的两个表达式带入L，可以得到目标为
$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0 \\ {\alpha }_i>=0(拉格朗日的要求) \end{gathered}$$
因此，训练完成后，最终apply的模型是
$$\begin{gathered} f(x)=w^{T}x+b=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b \\ 同时要求以下几个表达式成立 \\ {\alpha }_i>=0(公式2，拉格朗日的要求) \\ {y}_{i}f(x_i)-1>=0(公式3，公式1和KKT条件的要求) \\ {\alpha }_i(y_{i}f(x_i)-1)=0(公式4，KKT条件的要求) \end{gathered}$$
于是，对于任意训练样本$(x_i,y_i)$，比较公式2和公式4，可以知道${\alpha }_i=0$或者$y_{i}f(x_i)=1$。如果${\alpha }_i=0$，那么训练样本$(x_i,y_i)$不会对f(x)有任何影响；如果$y_{i}f(x_i)=1$，这个训练样本就在最大间隔的边界上，是支持向量。因此，训练完成以后，最终模型仅仅和支持向量有关。

更多推导请参考西瓜书