机器学习算法基础之SVM算法简介

算法简介

● SVM ( Support Vector Machines )是分类算法中应用广泛、效果不错的一-类。由简至繁SVM可分类为三类:线性可分( linear SVM in linearly separable case )的线性SVM、线性不可分的线性SVM、非线性( nonlinear ) SVM。

● 线性可分SVM的基本思想:将向量映射到- -个更高维的空间里,在这个空间里建立有一一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。建立方向合适的分隔超平面使两个与之平行的超平面间的距离最大化。

● 对于二类分类问题,训练集T={(x1,y1)(x2,y2),…,(xN,yN)} , 其类别yi∈{0,1} ,
线性SVM通过学习得到分离超平面( hyperplane )以及相应的分类决策函数:
W. x+b= 0
f(x)= sign(w.x + b)

● 将距离分离超平面最近的两个不同类别的样本点称为支持向量( support vector )的,构成了两条平行于分离超平面的长带, 二者之间的距离称之为margin。显然, margin更大,则分类正确的确信度更高(与超平面的距离表示分类的确信度,距离越远则分类正确的确信度越高)。通过计算容易得到:d=2/ ||w||

● margin以外的样本点对于确定分离超平面没有贡献,换句话说, SVM是有很重要的训练样本(支持向量)所确定的。至此, SVM分类问题可描述为在全部分类正确的情况下,最大化margin。线性分类的约束最优化问题:

具体计算

SVM寻找区分两类的超平面( hyper plane),使边际(margin)最大

w.x1+b= 1
w.X2+b=-1
两式相减：
w.(x1-x2)= 2
||w|| ||(x1一x2)|| cos(a)= 2
||w|| *d=2

d=2/ ||w||

转载：https://www.bilibili.com/video/BV1Rt411q7WJ?p=63