机器学习：SVM学习笔记(三）

                                     机器学习：SVM学习笔记(三)

    

      前面在谈到SVM的时候，谈到了SVM中的权重W最终可以表示成为训练数据的线性组合。恰好，PLA和逻辑回归的最终的权重系数也可以表示成为训练数据的权重组合，如下图所示。

       不存在这么完美的恰巧，为什么上面的表达可以表示成为这样的呢？这里是因为上面的三个model的目标函数的组成是有相同之处的：L2正则化+约束条件。必须的要求就是前面的正则化必须是L2范式的，不论他的约束条件是什么样子的，都可以最终表示成为训练数据的线性组合。这个定理就是表示定理：

        上面我们给出了一个表达式，前面的目标函数最终的目标是L2,至于约束条件，不管他。假设最终得等到的结果W表示成为w*，注意w*是可行解范围内最小的w,也就是说不可能存在一个w比w*更优秀使得目标最小化。首先定义span(Zn)表示训练数据集线性组合的平面，将w*分解成为两部分，这两个部分必须是基向量，也就是相互垂直，前面的那部分表示和span(Zn)平行，后面的表示和span(Zn)垂直。那么后面的那个误差项，就是绿色表示中Zn和W垂直的相乘为0.下面的那部分，红色的区域可定时0，蓝色的区域可定于0，那么就有了比w*更加优秀的w，这还了得？注意我们想要的是什么？就是w可以表示成为训练数据的线性组合，对吧，因为Zn就是训练数据的线性组合啊，当然让垂直的那部分为0啊，那就是想让和Zn垂直的那个w为0不就好了吗？那就再回来看看。让w(垂直)为0看看，绿色的框框表达为0，后面的那个大于号也就变成了等号。

        既然w最终的表达式是训练数据样本的线性组合，那么我们就可以继而得到L2model都可以去用核方法，去高维空间玩玩，得到更好的结果。因为在前面谈到SVM的时候，最终的结果如下所示，都可以转化到高斯核，这里的原因都是一样的。