SVM学习笔记

这是一篇简单的学习总结，并无分享意义。参考资料有周志华老师的《机器学习》，七月在线冯老师的课，还有pluskid大牛的博客。

间隔可以用法向量 w 的模表示，间隔最大化等于 w 模的平方的最小化，这是一个凸二次规划问题。
这个凸二次规划问题的极小值可以通过其对偶问题的最大值解出。用拉格朗日乘子法得到对偶问题，拉格朗日函数对 w 求偏导使其为零得到 w ,再代入拉格朗日函数得到关于拉格朗日乘子 α 的函数，对这个函数求极大值可以求出 α .
最终得到模型，发现一个新的样本加入后，求新样本跟支持向量的点积就可以求出label。

如果样本非线性可分，那么就需要映射到一个更高维的空间使其线性可分。设映射为 ϕ ,类似地，我们需要计算 ϕ(xi)Tϕ(xj) ,但是直接计算 ϕ(xi)Tϕ(xj) 计算量太大。实际上我们不需要知道 ϕ 的具体表达式，我们只需要知道 ϕ(xi)Tϕ(xj) 的结果就行了。所以我们定义了一个核函数，表示两个映射之后的样本的点积。核函数有现成的表达式可选。核方法可用到其他将线性学习器拓展为非线性学习器。