SVM支持向量机及数学推导

支持向量机 Support Vector Machine

要解决的问题:什么样的决策边界最好、特征数据本身很难分等等。

决策边界:选出离数据区最远的 (Large Margin)

SVM支持向量机及数学推导_第1张图片

距离计算

假设如图:

SVM支持向量机及数学推导_第2张图片

consider x' , x''  on hyperplane

平面:w^{T}x+b=0

则:w^{T}x'=-b , w^{T}x''=-b

 

w\perp hyperplane

则:[ w^{T}(x''-x') ]=0

distance = project(x-x') to \perp hyperplane

distance(x,b,w)=\left | \frac{w^{T}}{\left \| w \right \|} (x-x')\right |=\frac{1}{\left \| w \right \|}\left | w^{T}x+b \right |

label : 

\Phi (x) 映射

y(x)=w^{T}\Phi (x)+b\Rightarrow

           y(x_{i})>0\Leftrightarrow y_{i}=+1

           y(x_{i})>0\Leftrightarrow y_{i}=-1

                        \Rightarrow y_{i}\cdot y(x_{i})>0

优化目标:

找到一条直线(w和b),使得离该线最近的点最远

distance化简:\frac{y_{i}\cdot (w^{T}\cdot \Phi (x_{i})+b)}{\left \| w \right \|}

放缩变换:

对于决策方程(w,b)可通过放缩使 |Y| >= 1,使更严格

\Rightarrow y_{i}\cdot (w^{T}\cdot \Phi (x_{i})+b)\geq 1

目标:arg max_{w,b}{\frac{1}{\left \| w \right \|}min_{}[y_{i}\cdot (w^{T}\cdot \Phi (x_{i})+b)]}

所以考虑:arg max_{w,b}\frac{1}{\left \| w \right \|}

即   \Rightarrow min_{w,b}\frac{1}{2}w^{2}

应用 拉格朗日乘子法

SVM支持向量机及数学推导_第3张图片

KKT性质:

极小值求解:

SVM支持向量机及数学推导_第4张图片

SVM支持向量机及数学推导_第5张图片

SVM支持向量机及数学推导_第6张图片

实例:

SVM支持向量机及数学推导_第7张图片

带入原式,解得:

SVM支持向量机及数学推导_第8张图片

以下a代替α。

对a1  a2求骗到,等于0得: a1=1.5   a2=-1,不满足约束条件,解在边界上。

a1=0,a2=-2/13 不满足

a1=0.25,a2=0  满足

所以最小值在(0.25,0,0.25 )取得。带入解得平面方程:

0.5x1 + 0.5x2 - 2 =  0

“支持向量机”:

边界由a不为0的点(边界上的点)构成,非边界点a必为0。由支持向量构成。

soft-margin 软间隔

排除噪音点对决策边界的影响。引入松弛因子:

y_{i}(w\cdot x_{i}+b)\geq 1-\xi _{i}

新目标函数:min\frac{1}{2}\left \| w \right \|^{2}+C\sum_{i=1}^{n}\xi _{i}

C大,要求严格;C小,错误容忍。C需要指定。

同样使用拉格朗日乘子法得:

SVM支持向量机及数学推导_第9张图片

 

核变换

低维不可分映射到高维,在低维中完成运算。

SVM支持向量机及数学推导_第10张图片

你可能感兴趣的:(机器学习)