机器学习公开课SVM学习中

关于SVM的内容，前前后后讲了两节。SVM是一个比较主流并且一般评价较高的分类方法，以前只模糊的知道它是要找到一个分类超平面，使得正反样例的间隔最大化，它的超平面是由支持向量确定的，支持向量也就是离分类超平面最近的点。下面简单回忆一下这几天看到的关于SVM的内容。

 

首先考虑线性可分的情况，求解分类超平面的问题可以表示为一个带约束的最优化问题，为了求解此最优化问题，应用拉格朗日对偶性，将求解转化为对对偶问题的求解。构建拉格朗日函数L(w，b，a)，首先求解L()对w,b的极小，再求对a的极大，求得a的解即可得到w，b的解，从而找到分类超平面。

对于线性不可分的情况，一种方法是运用核技巧，将特征映射到高维空间上，从而在高维空间线性可分，再运用线性支持向量机的方法求解；还有软间隔最大化的概念，因为有些样本点不能满足函数间隔大于等于1的约束条件，于是为训练样例加入一个松弛变量，目标函数与原来不同，再利用上述方法求解。

序列最小最优化算法，为了高效求解SVM的方法，还没看太懂。。

总体来说就是这些，每一个方法都设计许多数学推导，第一个提出这些方法的人真的很牛，数学果然博大精深，应该不只机器学习或是计算机学科，其他许多学科的发展也离不开数学吧。另外推荐李航博士的《统计学习方法》，里面对于上述介绍和推导都很详细。