支持向量SVM分类器的学习记录

SVM学习

1、线性分类器的学习目标就是在n维的数据空间中找到一个分类超平面。其方程可以表示为：
W^T*x + b = 0
y取1或者-1表示两个不同的类别，该分类标准起源于logistic回归。

2、logistic回归
目的是从特征学习出一个0/1分类模型，该模型是将特征的线性组合作为自变量，自变量取值范围是正无穷到负无穷，因此使用logistic函数将自变量映射到（0,1）上，映射后的值被认为是属于y=1的概率。

3、需要确定f(x)=w.x+b中两个参数w和b，而这两个参数的确定是通过两条边界端或极端划分直线中间的最大间隔从而确定最终的最大间隔分类超平面hyperplane和分类函数。进而把寻求分类函数f(x)=w.x+b的问题转化为对w，b的最优化问题，最终化为对偶因子的求解。总的来说就是转化为求变量w和b的凸二次规划问题。

4、函数间隔与几何间隔
（1）函数间隔
函数间隔 γ=y（w^T*x+b）=y*f（x）
超平面（w，b）关于训练数据集T的函数间隔为超平面（w，b）关于T中所有样本点（xi，yi）的函数间隔最小值。（选择分类超平面的时候只有函数间隔是不够的，因为成比例改变w和b，虽然超平面没有改变，但是函数间隔的值也会随比例改变。）
（2）几何间隔
几何间隔 γ1=y（w^T*x+b）/||w||=y*f（x）/||w||

5、funtional margin不适合用于最大化的一个量，因为在hyper plane固定以后，我们可以等比例地缩放w和b的值，可以使得f（x）=w^T*x+b的值任意大，即functional margin的值可以在hyper plane保持不变的情况下被取得任意大。而geometrical margin没有这个问题，因为geometrical margin除去了||w||这个分母。因此缩放w和b，geometrical margin只是随着hyper plane的变动而变动，而不是随着w和b的值变动

6、支持两个超平面的点叫做支持向量。support vector在边界上满足y*（w^T*x+b)=1（在这里我们把functional margin定为1）