第6章:支持向量机

间隔与支持向量

第6章:支持向量机_第1张图片
第6章:支持向量机_第2张图片
w为法向量,决定的是超平面的方向。b是偏移项,决定了超平面与原点之间的距离。
第6章:支持向量机_第3张图片
第6章:支持向量机_第4张图片

为什么最大化间隔,得到的就是最优平面呢?

  • 当超平面没有正确划分正负样本时,几何间隔为负数。
  • 几何间隔,各个点中最小的,当正确划分时,越靠近正中间,几何间隔越大。
    第6章:支持向量机_第5张图片

求解分类支持向量机

第6章:支持向量机_第6张图片

凸优化

第6章:支持向量机_第7张图片

拉格朗日对偶

第6章:支持向量机_第8张图片
第6章:支持向量机_第9张图片
第6章:支持向量机_第10张图片

KKT条件

第6章:支持向量机_第11张图片

求解

第6章:支持向量机_第12张图片
第6章:支持向量机_第13张图片
第6章:支持向量机_第14张图片
第6章:支持向量机_第15张图片

SMO

第6章:支持向量机_第16张图片
唯一不确定的地方:
在这里插入图片描述

核函数

第6章:支持向量机_第17张图片
在这里插入图片描述
第6章:支持向量机_第18张图片
在这里插入图片描述
第6章:支持向量机_第19张图片
第6章:支持向量机_第20张图片

软间隔与正则化

在现实任务中,很难确定合适的核函数使得训练样本在特征空间中线性可分,即使找到了也很难断定这个结果是不是过拟合造成的。
如何缓解?–软间隔
第6章:支持向量机_第21张图片
第6章:支持向量机_第22张图片
第6章:支持向量机_第23张图片
第6章:支持向量机_第24张图片

支持向量回归

第6章:支持向量机_第25张图片

第6章:支持向量机_第26张图片
第6章:支持向量机_第27张图片
第6章:支持向量机_第28张图片
第6章:支持向量机_第29张图片
第6章:支持向量机_第30张图片

你可能感兴趣的:(机器学习,支持向量机,算法,机器学习)