机器学习（一）支持向量机(Support Vector Machine)

1.SVM简介

1.1 什么是支持向量机

支持向量机(Support vector machine)通常用在机器学习 (Machine learning)。是一种监督式学习 (Supervised Learning)的方法，主要用在统计分类 (Classification)问题和回归分析 (Regression)问题上。

支持向量机属于一般化线性分类器，也可以被认为是提克洛夫规范化（Tikhonov Regularization）方法的一个特例。这族分类器的特点是他们能够同时最小化经验误差与最大化几何边缘区，因此支持向量机也被称为最大边缘区分类器。现在多简称为SVM。

1.2 监督式学习

监督式学习（英语：Supervised learning），是一个机器学习中的方法，可以由训练资料中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练资料是由输入物件（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

2.支持向量 (Support Vector)

2.1什么是support vector

如图所示，支持向量 (Support Vector)是指在训练集 (Training data set)中，在分类时给予最多信息的点集合，被红色框围起来的这四个训练资料点就被称之为支持向量机。
支持向量就是与分类边界距离最近的训练资料点。从支持向量机的最佳化问题可以推导出一个重要性质：支持向量机的分类边界可由支持向量决定，而与其他资料点无关。这也是它们称为“支持向量”的原因。

3.超平面(hyperplane)

3.1什么是hyperplane

支持向量机建构一个或多个高维（甚至是无限多维）的超平面来分类资料点，这个超平面即为分类边界。直观来说，好的分类边界要距离最近的训练资料点越远越好，因为这样可以减低分类器的泛化误差。在支持向量机中，分类边界与最近的训练资料点之间的距离称为间隔（margin）；支持向量机的目标即为找出间隔最大的超平面来作为分类边界。

通过一个n-1维的超平面分开数据点，通常这个被称为线性分类器。有很多分类器都符合这个要求。

但是我们还希望找到分类最佳的平面，即使得属于两个不同类的数据点间隔最大的那个面，该面亦称为最大间隔超平面。如果能够找到这个面，那么这个分类器就称为最大间隔分类器。

样本属于两个类，用该样本训练svm得到的最大间隔超平面。在超平面上的样本点也称为支持向量。

参考文献：
1. wiki支持向量机
2. 部分图片资源来源于百度