《统计学习方法》中关于SMO算法的一些理解

1.SMO即序列最小最优化,(sequential minimal optimization),用于利用核函数求解非线性问题的SVM的最优化问题。求解的输出结果就是每个支持向量所对应的参数αi(这个参数是拉格朗日函数中引入的,个人理解下,这个α所代表的就是每个支持向量在模型中起到的影响因子,因为这个αi的表达式中有一向内积,内积也可以表示两个向量的相关性,相关性越高则这个内积就越大)。

2.书中直接给出了每次更新后的解析解,根据斯坦福的机器学习课程的解释,实际上这个值是通过求解二次函数在方形约束上的最值问题得到的,由于考虑到二次函数的最值是与求解区域有关,若函数顶点落在方形区域中间,则可以取到顶点处的值,否则只能取到方形约束两端的值。

3.方形约束是根据约束条件得到的,这个C是代表了软间隔中的惩罚因子。

4.方形约束中的直线是通过另一个约束条件得到的

5.书中的L及H的取值是根据直线与方形约束框的交点对应的α取值得到的,通过比较C与直线在边界上的参数值的大小得到。


你可能感兴趣的:(统计学习方法)