初识SVM算法和核函数基本概念

来着吴恩达老师、 李政轩老师（核函数）和黄海广博士笔记

李政轩老师视频地址：http://www.powercam.cc/slide/6552

李老师的台湾话有点意思，而且有时候边讲课边笑，有点搞笑滴。

Support vector machine(SVM) algorithm.

支持向量机算法简称向量机

       这个SVM的公式对逻辑回归的算法进行了变形，支持向量机是直接预测y的值等于1还是等于0.

（这也解释了为什么SVM是大间距分类器）

当C不是非常大的时候，SVM可以忽略掉一些异常点，得到更好的决策界。（即利用高偏差）

（C较大，相当于 λ较小，可能会导致过拟合，高方差）

 

SVM做的全部事情就是极小化参数向量Θ范数的平方，或者说长度的平方。

 

 

30 向量内积（vector inner product）

为什么SVM是大间隔分类器

（图中第二个y(i)打错了，应该是等于0)

（1）因为相乘大于1，由于乘法的关系，p不能太小。

（2）参数向量Θ是和边界线垂直的。

 

32.核函数

核函数定义：

核函数：是映射关系的内积，映射函数本身仅仅是一种映射关系，并没有增加维度的特性，不过可以利用核函数的特性，构造可以增加维度的核函数，这通常是我们希望的。

 

在二维空间需要一个椭圆才能分开，通过这个函数公式生到三维空间后，只需要一个平面就可以分开，加深颜色的公式是一个平面。

 

内积：（A1,B1,C1）,(A2,B2,C2) = A1A2+B1B2+C1C2

这里三维空间的两个点内积是二维空间其内积的平方。

红色框中的就是核函数，不知道feature mapping的具体函数也没有关系。

内积可以用来帮助决定距离和角度

核函数的技巧就是不显示的定义映射函数，而在高维空间中直接使用核函数进行计算。

 

核矩阵、内积矩阵

里面就是任意两个点之间的内积（所有的点）