支持向量机笔记（一） functional and geometric margins

最近在看机器学习，感觉有点朦胧，于是写下这些知识点，在自己忘记的时候能够翻出来看看。我是以stanford的cs229的讲义为蓝本的，上面有些洋文我感觉翻译出来就失去了原有的味道，（主要是我不会翻译）。

首先我们可以回顾下logistic regression ，对于给定输入x，需要预测输出，为此我们选择了，其实它的原型就是一个sigmoid function, ，然后通过梯度下降法估计出θ的值，我们预测的标准是当，我们就认为y=1，也就是说也就越大，那么对于y=1的预测也就有更高的“confidence”，对于我们一开始学的线性回归分类，如图

有一条决策线把数据分成两类，通过上面的讲解我们知道，一个点距离决策线（面）越远，那么我们对它的预测就会越有“confidence”，我们试图找到这样一个决策线，使所有的预测既正确而又有“confidence”，这样就引出了geometric margins。

下面是我们的继续svm之前的一些Notation，把y的取值变成了{0,1}是为了计算方便，我们重新修改了分类函数

前面乘以y是为了保证非负性（因为f(x)<0对应的是y=-1的那些点），但是他明显不适合我们因为当我们等比例的缩放w和b的值时可以使得任意大，如下图：

 

到此为止，算是完成了 Maximum Margin Classifier 的介绍，通过最大化 margin ，我们使得该分类器对数据进行分类时具有了最大的 confidence （实际上，根据我们说给的一个数据集的 margin 的定义，准确的说，应该是“对最不 confidence 的数据具有了最大的 confidence”

以上很大一部分是参考http://blog.pluskid.org/?p=632，没办法这个师兄功力太高了，希望他不要介意，另外这只是我个人的学习笔记，有误导大家的地方还请见谅，后面我将试着把这个专题写完，希望自己能坚持下去。