机器学习 【 SVM支持向量机算法】 公式推导计算+详细过程 （入门必备）

• SVM支持向量机又称最大间距分类器。可以解决“线性可分”和“线性不可分”问题
• SVM的“三宝”：最大间距、对偶性和核函数。
• 算法推导：
  
• 入上图所示
• 图中红线为决策边界。
• 两条平行黑线共同组成最大间距。
• *“支撑向量”*为两条平行黑线上的点。

决策边界公式
$${\theta }^{T}x+b=0$$

**“支撑向量”到决策边界的距离公式 **
$$d=\frac{|y_i|}{||\theta ||}$$

假设决策边界$ \theta^Tx + b = 0 $能将样本正确分类，那么：

$$\{\begin{array}{l}{\theta }^{T}x+b>=+1y_i=+1\\ {\theta }^{T}x+b<=-1y_i=-1\end{array}$$

两个不同类的支持向量到决策边界的距离之和为：

$$2d=\frac{2}{||\theta ||}$$

所以我们最大化间距的表达式可以写成：

$$\{\begin{array}{l}max\frac{2}{||\theta ||}\\ s.t.y_i({\theta }^{T}x+b)>=1\end{array}$$

极值问题，求导数。最大化$ \frac{1}{||\theta||} $,相当于让分母$ ||\theta|| $最小化，所以：

$$\{\begin{array}{l}min\frac{1}{2}||\theta |{|}^2\\ s.t.y_i({\theta }^{T}x+b)>=1\end{array}$$

• 对偶问题

** 对上式使用拉格朗日乘子法，得到“对偶问题”，公式为： **
$$L(\theta ,b,\alpha )=\frac{1}{2}||\theta |{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({\theta }^T{x}_i+b)（1）$$

对$\theta$求偏导
$$\theta =\sum _{i=1}^m{\alpha }_i{y}_i{x}_i（2）$$

对b求偏导

$$0=\sum _{i=1}^m{\alpha }_i{y}_i$$

将（2）式带入到（1）式

$$\{\begin{array}{l}max{\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j\\ s.t.{\sum }_{i=1}^m{\alpha }_i{y}_i=0\end{array}$$

• 核函数

线性核函数
$$k(x_i,x_j)=x_i^T{x}_j$$

多项式核函数
$$k(x_i,x_j)=（x_i^T{x}_j{）}^d,d为次数$$

高斯核函数
$$k(x_i,x_j)=exp(-\frac{||x_i-x_j|{|}^2}{2{\sigma }^2})$$