支持向量机（SVM）——线性可分支持向量机学习算法

线性可分支持向量机的对偶算法： 应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。

概述

对线性可分训练数据集，假设对偶最优化问题的解为

可以由此得到原始最优化问题的解。

定理

设

是对偶最优化问题的解，则存在下标j，使得αj*>0，并可求得原始最优化问题的解：

由此定理，分离超平面可以写成：

分类决策函数可以写成：

由上式可知，分类决策函数只依赖于输入x和训练样本输入的内积。

线性可分支持向量机学习算法

输入： 线性可分训练集T={(x1,y1),(x2,y2),…,(xN,yN)}，其中，xi∈X∈Rn，yi∈Y={-1,+1}，i=1,2,…,N；
输出： 分离超平面和分类决策函数
（1）构造并求解约束最优化问题

求得最优解

（2）计算

并选择满足α≥0，且至少有一个αj>0， 计算

（3）求得分离超平面

和分类决策函数

注意：
在线性可分支持向量机中，w*,b只依赖于训练数据中对应于αi>0的样本(xi,yi)，而其他样本点对w*,b没有影响，所以将训练数据中对应于αi>0的实例点称为支持向量。