西瓜书学习笔记 第6章 支持向量机

第6章 支持向量机

1. 求对偶问题的最优解：
   对于二次规划问题可以用规划算法来求解，但问题的规模正比于训练样本数，在实际上会造成很大开销，为了避免这个障碍，人们采用像序列最小优化算法（Sequential Minimal Optimization，SMO）的高效算法。
   SMO的思路是每次优化一个参数而视其他不变，求该参数上的极值。
   在参数初始化后，不断执行“选取一对（这里的一对，是因为约束条件中含有我们已选的变量ai，故在我们的推导式中需要多取一个变量，取ai和aj）需要更新的变量”“固定这俩变量以外的参数，求解对偶问题的最优解，获得更新后的变量”这两个步骤知道收敛（即某次迭代后无参数改变值）。每次优化2个参数的过程也让SMO十分高效。
   一开始如何选ai和aj呢？初始化后SMO首先选取违背KKT条件程度最大的变量，第二个变量应选择一个使目标函数值减小最快的变量。对目标函数值减幅的度量，SMO采用启发式：选取两个变量所对应的样本之间间隔最大。这样避免算目标函数减幅复杂度过高。
   训练得w，b：
   SMO训练后我们可以根据a来算出w，b则可以通过支持向量性质求得，在现实任务中你通常用所有支持向量求解的均值来作为b，这样更robust。
   得到w，b就可以确定f(x)，进行分类了。
2. 核矩阵半正定
   

参考文献

1. https://zhuanlan.zhihu.com/p/216239185