【支持向量机】SVM线性可分支持向量机学习算法——硬间隔最大化支持向量机及例题详解

支特向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器。包含线性可分支持向量机、 线性支持向量机、非线性支持向量机。

当训练数据线性可分时，通过硬间隔最大化学习线性分类器， 即为线性可分支持向量机，又称为硬间隔支持向量机。

线性可分支持向量机学习算法

输入：线性可分训练数据集，其中

输出：最大间隔分离超平面和分类决策函数

1）构造并求解有约束最优化问题

得到最优解

在有约束的情况下最小化向量范数

2）代入最优解，

得到分离超平面：

分类决策函数：

例

训练数据集：正例点，负例点，求最大间隔分离超平面、分类决策函数和支持向量

解：

1）构造并求解有约束最优化问题

得到最优解

求解最优化问题需要削减变量数目

2）代入最优解，

得到分离超平面：

分类决策函数：

支持向量：、

支持向量是使约束条件等号成立的点，即满足的点