西瓜书--第六章支持向量机

6.1 支持向量机概述

6.1.1 为什么引入支持向量机

• 1.感知机的分类超平面不唯一
  解决方法：增加约束，如SVM的最大化间隔
• 2.感知机无法解决非线性问题
  解决方法：使用核方法，映射到高维空间

6.1.2 支持向量机

• 二分类模型

• 基本模型是定义在特征空间上的间隔最大的线性分类器，间隔最大使它有别于感知机

• 支持向量机还包括核技巧，这使它成为实质上的非线性分类器

• 支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)的问题，也等价于正则化的合页损失函数的最小化问题

• 支持向量机的学习算法是求解凸二次规划的最优化算法

• 线性可分支持向量机(linear support vector machine inlinearly separable case )

  • 硬间隔最大化(hard margin maximization)

• 线性支持向量机(linear support vector machine)

  • 训练数据近似线性可分时，通过软间隔最大化(soft marginmaximization)

• 非线性支持向量机(non-linear support vector machine)

  • 当训练数据线性不可分时，通过使用核技巧(kernel trick)及软间隔最大化

6.2 线性可分SVM与硬间隔最大化

线性模型：在样本空间中寻找一个超平面，将不同类别的样本分开，由于分开的超平面可能有很多，寻找最优的一个，我们就可以用到SVM解决这个问题。

6.2.1 函数间隔：

6.2.2 几何间隔

6.2.3 算法流程

6.2.3.1 对偶问题

6.2.3.2 拉格朗日乘子法

6.3 线性SVM与软间隔最大化

• 训练数据中有一些特异点（outlier），不能满足函数间隔大于等于1的约束条件
• 引入“软间隔”的概念, 允许支持向量机在一些样本上不满足约束

6.3.1 线性SVM模型

6.3.2 软间隔最大化

6.3.3 线性SVM的支持向量

6.3.4 线性SVM的另一种解释:合页损失函数