机器学习--SVM（支持向量机）标记点选择与损失函数

本篇文章介绍SVM如何选择标记点，以及引入核函数后的损失函数。若是还没理解核函数及高斯核函数的同学可以看看上一篇：http://blog.csdn.net/wenqiwenqi123/article/details/79313876

给定m个样本(x1,y1)、(x2,y2).....(xm,ym).最好的标记点选择就是把所有样本都当做标记点。将标记点记为l1、l2.....lm.

所以求f（高斯核函数）的时候，每一个样本一定会有一个f等于1，其他不等于1。原理见上图红字公式。

对于第i个样本，可以求出f1、f2、f3......fm共计m个值，把它们堆叠到一起构成特征向量f（i），如上图红框里所示。

然后现在先让我们复习一下SVM的损失函数：

左边那个cost函数是y=1时，右边为y=0时。

在引入了高斯核之后，如今我们的损失函数变为这样：

之前的θ转秩*x(i) 变为θ转秩*f(i)，而且一个向量中θ数量变为了m，m为训练集中的样本个数.