06 SVM - 线性可分模型算法和案例

05 SVM - 支持向量机 - 概念、线性可分

三、线性可分SVM算法流程

输入线性可分的m个样本数据{(x1,y1),(x2,y2),...,(xm,ym)}，其中x为n维的特征向量，y为二元输出，取值为+1或者-1；SVM模型输出为参数w、b以及分类决策函数。

1、构造约束优化问题；

约束优化

2、使用SMO算法求出上式优化中对应的最优解β*；

3、找出所有的支持向量集合S;

支持向量集合S

怎么找支持向量

4、更新参数w、b的值；

5、构建最终的分类器

最终分类器

---

四、线性可分案例

回顾 ：构造约束优化问题的公式

约束优化问题公式

案例：

给定三个数据点：正例点x1=(3,3),x2=(4,3), 负例点x3=(1,1)，构造此时的约束优化条件。

案例

案例解析

五、线性可分SVM总结

1、要求数据必须是线性可分的。
2、纯线性可分的SVM模型对于异常数据的预测可能会不太准。
3、对于线性可分的数据，SVM分类器的效果非常不错。

07 SVM - 软间隔模型