机器学习:SVR支持向量机回归

                                     机器学习:SVR支持向量机回归


     一直以来接触的都是支持向量去做分类,这里稍微谈一下SVR,就是用支持向量去做回归。SVR最回归在本质上类似于SVM,都有一个margin,只不过是这里的margin表示和SVM是不相同的,完全相反。在SVM中的margin是想把两个class分开,而这里SVR的margin是说:在margin里面的的数据是不会对对回归有任何的帮助,也就是没有贡献,说白了就是这里的数据我们认为他就是正确的,不用对margin里面的书data进行惩罚。机器学习:SVR支持向量机回归_第1张图片


   上图所示的就是最小二乘,为了和前面的SVM进行区分,回归一下SVM的表达式



    SVM的表达式里面的就是对分类正确和分类错误进行不同的惩罚。相同之处就是用的都是L2正则化。哈哈,这样的好处就是可以上高斯核嘛。如下图所示:

机器学习:SVR支持向量机回归_第2张图片

    

      对于SVR我们在求偏导之后的得到参数β是这样的

机器学习:SVR支持向量机回归_第3张图片

     

      你会发现,如此的简洁,并不像我们谈到的逻辑帝回归那样需要迭代,并且这里的最终结果总是可逆的,唯一的不足就是时间复杂度,数据样本的三次方啊,三次方啊。要是有一千个数据样本你怎么办?所以和罗斯蒂回归相比较,SVR在数据样本相对比较大的时候几乎是一个灾难,而罗斯蒂回归在数据的维度很大的时候是一个灾难。

   更加具体的参考这里


你可能感兴趣的:(MachineLearning)