SVM

看了李航的书，大致总结一下关键点吧。

1. 间隔的定义：函数间隔和几何间隔

2. SVM优化目标：找到最大的几何间隔的分离超平面，不仅能将正负点分开，还要有足够大的确信度。因此，根据最大间隔法，可得优化目标和约束条件

3. 引出线性可分支持向量机，利用拉格朗日对偶性可得对偶算法，求解优化问题。最后给出支持向量的定义

4. 泛化性更强的SVM：线性支持向量机和非线性支持向量机。

5. 线性支持向量机：软间隔，允许某些点分类错误。引入松弛变量。以及合页损失函数

6. 非线性支持向量机：把输入空间映射到更高维，以便可以用线性的方法求得划分平面。注意的是，核技巧。

7. SMO（序列最小最优化算法）：在训练样本容量很大情况下，使得求解凸二次优化问题更快。