斯坦福公开课《机器学习》第五章SVM笔记

原文链接: http://www.cnblogs.com/StevenL/p/6818422.html
为函数间隔的定义




考虑训练样本里r hat的最小值,对应的是训练样本里函数间隔的最坏情形:
几何间隔:


= r hat / || w ||



最优间隔分类器的定义:

拉格朗日对偶性:略。

若要dual*=primary*=L(w*, α*, β*),w*, α*,β*满足KKT dual complementarity condition(KKT对偶互补条件):

优化间隔分类器:
考虑此分类器的定义,令:

则可得拉格朗日优化问题:

对w, b求偏导数如下:
此外又有:
斯坦福公开课《机器学习》第五章SVM笔记_第1张图片
进而得到:

核函数:(未理解明白)
用核函数代替上式中的内积,将变量映射到更高维空间。这样计算内积就好,而不必把向量装入内存(事实上也装不下)。

此式对应的 映射 为:

高斯核:
如何判断一个核是valid的:

即:K是一个valid的核     等价于     它所对应的核矩阵是对称半正定矩阵

在数据是非线性可分的情况下:

称为     L1 norm soft margin SVM。是一个凸优化问题。
它允许间隔小于1,即允许有错误的分类。

SMO算法:

坐标上升算法:

这个算法的迭代次数比较多,但在某时某情况下如果W(a1,,,am)中的某个参数求最优值的代价非常小,那么内层循环将会非常快。

SMO:

如果像svm那样只对一个α求解,同时固定其他的α。由等式(19)得到

即α也就固定了。SMO同时对两个α求解,随即得到:

此式是一个一元二次函数,易得到α1。

Andrew Ng让在John Platt的论文里寻找下面两个问题的答案:

SMO算法:
由等式
可知问题转化为求α的问题,如下:
此等式中各个参数的求解如下:











ps:不知不觉好久不写笔记。





















转载于:https://www.cnblogs.com/StevenL/p/6818422.html

你可能感兴趣的:(斯坦福公开课《机器学习》第五章SVM笔记)