支持向量机 Support Vector Machine

一、主要思想:最大间隔

间隔(最小距离;函数间隔与几何间隔)、对偶(KKT条件;拉格朗日乘数法)、核方法(低维直接算高维内积;Gram 矩阵半正定)

 

二、hard-margin

线性可分

支持向量机 Support Vector Machine_第1张图片

支持向量机 Support Vector Machine_第2张图片

支持向量机 Support Vector Machine_第3张图片

 

三、soft-margin

基本上线性可分,允许存在一点点错误。

引入松弛变量

支持向量机 Support Vector Machine_第4张图片

支持向量机 Support Vector Machine_第5张图片

 

四、kernel trick

非线性

待更新

 

五、SMO

待更新

 

六、一般的约束优化问题和 KKT 条件

支持向量机 Support Vector Machine_第6张图片

支持向量机 Support Vector Machine_第7张图片

 

你可能感兴趣的:(支持向量机 Support Vector Machine)