【阅读思考记录】支持向量,支持向量机(SVM)与支持向量回归(SVR)(西瓜书第6章一)

前言:

{

    最近很久没跟新了,本来想好好休息一段时间,但我还是放不下当前的学习任务,所以就继续看起了西瓜书[1]。

    很久以前我就见到过支持向量机的相关内容,不过从来都没有仔细琢磨,只知道这是一种分类方法。不看不知道,看了后才发现其中涉及很多数学知识(高数里没涉及到的数学知识),我感觉这值得单独开几期。

}

 

正文:

{

    支持向量与支持向量机SVM):

    {

        其实支持向量机的原理不算太复杂(复杂的是优化求解)。

        假设在特征空间中有两类若干的特征向量,如何设计一个最好的超平面来划分这些特征向量?支持向量机给出的思想是:

        (1)在两类向量线性可分的情况下,划分这些向量为两类的超平面应当使得这些向量尽可能地远离此超平面,所谓的尽可能地远离指的是离此超平面最近的向量尽可能远离此超平面,因此此超平面应该在两类向量中互相最接近的向量(这些向量即为支持向量)的中间(见书中图6.2)。

        【阅读思考记录】支持向量,支持向量机(SVM)与支持向量回归(SVR)(西瓜书第6章一)_第1张图片

        设所述超平面为=0,样本(xi,yi)需要满足式(6.3),当式(6.3)取等号时对应所述支持向量,式(6.4)是两类支持向量之间的距离,此时最大化式(6.4)(即式(6.6))为支持向量机的基本型。

       

       

        【阅读思考记录】支持向量,支持向量机(SVM)与支持向量回归(SVR)(西瓜书第6章一)_第2张图片

 

        (2)在两类向量线性不可分的情况下,支持向量机允许一部分样本被错误分类(如图6.4)。

       

        在这种情况下,上述式(6.6)就变成了式(6.29),这也就是软间隔支持向量机。式(6.29)中取消了限制条件,并且加入了大于0的常数C,其控制支持向量机对分类错误的容忍度(C越大则支持向量机越不能容忍分类错误)。

       

        【阅读思考记录】支持向量,支持向量机(SVM)与支持向量回归(SVR)(西瓜书第6章一)_第3张图片

        由于式(6.30)不连续等原因,[1]中给出了式(6.31)、式(6.32)和式(6.33)来替代式(6.30)。

        【阅读思考记录】支持向量,支持向量机(SVM)与支持向量回归(SVR)(西瓜书第6章一)_第4张图片

        上述4个式子的值(后面用​为表示)代表某个样本的分类错误程度。

        值得注意的是,当用式(6.31)、式(6.32)或式(6.33)时有【阅读思考记录】支持向量,支持向量机(SVM)与支持向量回归(SVR)(西瓜书第6章一)_第5张图片(见图6.5)。

        【阅读思考记录】支持向量,支持向量机(SVM)与支持向量回归(SVR)(西瓜书第6章一)_第6张图片

    }

 

    支持向量回归SVR):

    {

        对于样本(xi,yi)和对应的模型f(x),支持向量回归的形式为式(6.43)。

       

       

        其中w还是对应的决策超平面参数向量,C也还是对应的常数(书中称之为正则化常数)。

        式(6.44)被称为,这代表着一般关于的决策超平面的损失变成了关于决策超空间的损失(计算损失时需要考虑有一定厚度的间隙,落在这个间隙中的样本算是被正确分类),这个概念和软间隔支持向量机类似。

        设为z>=0部分的式(6.44),为z<0部分的式(6.44),则可得式(6.45)。

       

        式(6.45)附带的条件为【阅读思考记录】支持向量,支持向量机(SVM)与支持向量回归(SVR)(西瓜书第6章一)_第7张图片

   }

}

 

结语:

{

    这次先记录这些,很多都是自己的理解。

    难的还在后面,特别是优化求解部分。

    支持向量回归的思想倒是可以用用看,我可以试着放宽模型分类的判断条件。

    参考资料:

    {

        [1] 周志华.《机器学习》.清华大学出版社

    }

}

你可能感兴趣的:(神经网络与机器学习,支持向量机,SVM)