机器学习基础：SVM2

一. 预备知识：

1.平面的一般式方程

Ax +By +Cz + D = 0

其中n = (A, B, C)是平面的法向量，D是将平面平移到坐标原点所需距离（所以D=0时，平面过原点）

2.点到平面距离

 

二. SVM中支持向量到平面的距离：

1. 分类间隔越大越好，边界的泛化能力越强越好

2. 怎么求支持向量到分类平面的距离？

平面为 wx+b=0, w为法向量；w,x都是n维的向量

求点x到平面的距离:

平面内两点x' 和 x''，平面的法向量w一定垂直于直线x' x''

我们想求的是垂线的距离，但是这个距离不好算，所以先算xx'的长度，然后做一个投影在平面上，就能得到点x到平面的距离

所以最终：

 

三. 支持向量机

 

做一个二分类，要么分成正，要么分成负

后面解释Y为什么用+1 or -1做代替

1.

 

要使得离边界最近的点离的越远越好，就是两个类别的支持向量越远越好。

2. 目标函数

3. 目标函数变换

 

4. 要求w分之一的最大值，就是求w的最小值，求解目标进一步转换：

求w最小值和求w平方最小值可以等价，和求1/2倍w平方一样（求导的时候可以约掉，方便）

拉格朗日乘子法:求极值的

 

5.SVM求解

 

6.通过简单例求解SVM