机器学习技法笔记1：线性SVM

上学期听林轩田老师的机器学习技法自己做了笔记，之后会陆续发出来，有错误的地方还希望大家多多指教。

1、线性SVM

1-1 最大边界间隔超平面

最大边界间隔超平面(Large-Margin Separating Hyperplane)
1、 回顾一下我们之前介绍了linear classification，对于线性可分的情况，.数学上就 是求出加权的分数，判断分数的正负，来预测结果。我们可以使用PLA/pocket 算法在平面或者超平面上把正负类分开

例如对平面2D这种情况，我们可以找到一条直线，能将正类和负类完全分 开。但是，这样的直线通常不止一条，如下图所示。那么，下图中的三条分类 线都能将数据分开，但是哪条线更好呢？


d表示维数。
但是，如果要选择的话，凭第一感觉，我们还是会选择第三条直线，感觉它的 分类效果更好一些。那这又是为什么呢？
2、 先给个简单解释，假设我们已经拿到原始的资料xn,未来在测试的时候我们会拿 到和原始资料相近的点x。这两者是相近的，但是会存在一些偏差，因为存在 测量误差，或者资料收集的时候存在一些误差

若要保证对未知的测量数据也能进行正确分类，最好让分类直线距离正类负类 的点都有一定的距离。
这样能让每个样本点附近的圆形区域是“安全”的。圆形区域越大，表示分类 直线对测量数据误差的容忍性越高，越“安全”。


4、 整体来说，我们的目标就是找到这样的分类线并满足下列条件：
首先，要满足能够对样本点正确的分类
其次，让离分类线w最近的点到分类线距离最大

1-2 问题标准化描述

要让margin最大，即让离分类线最近的点到分类线距离最大，我们先来看一 下如何计算点到分类线的距离



3、 可是我们要求的是能够进行正确分类的分割平面，
这个分割平面有什么性质 呢？
(1)、求得的分数和yn同号

（2）进一步简化式子：
我们知道分类面wTx+b=0和3wTx+3b=0其实是一样的。也就是说，对w 和b进行同样的缩放还会得到同一分类面。



宽松条件是：对于分类面（w,b），代入所有的xn,yn 满足yn(wTxn+b)≥1，
那么，是否会出现这种情况，满足yn(wTxn+b)>1的w，b被最终选为最优的 (w,b)呢？

1-3 支持向量机

1、上一节推出：

1-4 SVM可行的理论依据

1、

2、
从VC bound的角度来说（超平面到底能够产生多少圈圈叉叉分类的组合）， 例如：对于PLA来说，可以shatter三个训练点的所有可能组合（8种，下图 仅画出4种）；但是对于SVM来说，会对margin有所限制，那么就有可能 无法做出所有的排列组合了，因为对margin的宽度有要求

linear hard SVM不能shatter任意3个inputs，这说明有更少的 dichotomies（分类线），更小的VC维度，也就有更好的泛化效果（E_in与 E_out更接近）。
3、 下面我们从概念的角度推导一下为什么dichotomies越少，VC Dimension就 越少。首先我们考虑一下Large-Margin演算法的VC Dimension，记为 dvc(Aρ)。
之前学习的是假设的VC维，现在的是演算法的VC维，这两种说法都可以， 没有严格定义。但是，dvc(Aρ)与资料有关，因为资料的不同分布决定了可以 分类的种类数目。而我们之前介绍的dvc与资料无关。