SVM初学
一、 一点基础数学知识
现在硕士都快毕业了，反而将自己的许多数学知识忘的差不多了，所以，现在决心再捡起来，以补齐自己的数学短板，为以后的研究做好铺垫吧。现在结合自己学习SVM、MLC、ANN等机器学习方法来回顾以前的数学知识以及补充新的数学知识。
在SVM中，首先面临的问题是计算样本点到分类超平面的距离，现在就从最简单的点到直线的距离、点到平面的距离等内容开始回顾。
1） 点到直线的距离计算公式
假设直线L的方程为：
那么，点（x0,y0）到直线L的距离为d
如点（2,2）到直线2x-y+1=0的距离为：
几何示意图如下：
2)点到平面的距离
假设平面P的方程为
,则点（X0,Y0,Z0）到平面P的距离d为：
几何示意图如下。
对于高维空间，假设存在超平面f(x)=W*X+b，那么样本点到超平面的相对距离距离可以用
来表示。但是，这并不是严格的定义。在确切的描述高维空间中，点到超平面的距离之前，首先要引入向量、范数等数学知识加以描述。
3）向量内积（点积或者数量积）
假设有a=[a0,a1,a2,a3,…,an],和向量b=[b0,b1,b2,b3,…,bn]，则向量a与向量b之间的内积为：a.b=a0b0+a1b1+a2b2+a3b3+…+anbn=|a||b|cosθ=a*bT, θ为向量a与向量b之间的夹角,T表示矩阵转置运算.
4）向量叉积（向量叉乘）
a×b=|a||b|sinθ,θ为向量a与向量b之间的夹角。其运算结果是一个向量而不是标量。假设a=(ax,ay,az),b=(bx,by,bz)
为了便于记忆，利用三阶行列式，写成
则:
a×b=（aybz-azby）i+(azbx-axbz)j+(axby-aybx)k=( aybz-azby, azbx-axbz,axby-aybx)
5）范数
定义：范数(norm)是数学中的一种基本概念，在泛函分析中，范数是一种定义在赋范线性空间中函数，满足相应条件后的函数都可以被称为范数。是具有“长度”概念的函数。在线性代数、泛函分析及相关的数学领域，范函是一个函数，其为矢量空间内的所有矢量赋予非零的正长度或大小。半范数反而可以为非零的矢量赋予零长度。
对于向量v,向量的长度（范数）为非负数
假设v是 实数域中的向量，
,如果v与二维平面上的点（a，b）对应，那么范数
的几何意义为二维平面上原点到点（a,b）的直线距离。
有了范数的概念，我们便能推导点到超平面的距离（SVM中的几何间隔）。
上图所示，对于一个点x ，令其垂直投影到超平面上的对应的为x0 ，由于w是垂直于超平面的一个向量（即超平面的一个法向量）， 为样本x到分类间隔的距离，我们有：
其中，
即为范数。
即为超平面的单位法向量。我们在此将上式代入超平面方程进行推导：
因为，x0为超平面上的点，满足f(x0)=0
因此：
又因为 
，因此：
至此，我们推导了点到超平面的几何距离。但是，回到SVM中，由于SVM中超平面存在方向性，即在超平面的左侧或者右侧，其函数值存在正负。因此，我们还需要对上述的几何距离的定义加以约束。通俗点说，就是f(x)的取值有正有负，但距离必须是正的，所以，在SVM中，由于采用类别标签（+1，-1）来表示分类的类别属性，因此定义
因此，在SVM中，其几何间距（Geometrical Margin）
从这也可以看出，对于二分类问题，SVM为什么习惯将类别标签默认为（+1，-1）。