机器学习 -- 支持向量机SVM（Ⅰ SVM简介）

一. 算法概述

        支持向量机（SVM）是用来解决分类问题的。作为数据挖掘领域中一项非常重要的任务，分类目前在商业上应用最多。而分类的目的是构造一个分类函数或分类模型，该模型能把数据库中的数据项映射到给定类别中的某一个，从而可以预测未知类别。

 

二. 算法分类

        支持向量机可以分为线性可分支持向量机（又称硬间隔支持向量机）、线性支持向量机和非线性支持向量机（又称软间隔支持向量机）。支持向量机算法已经在很多领域（如文本分类、图像分类、数据挖掘、手写字符识别、行人检测等）大显身手，且其可用领域还远远不止这些。

 

三. 图例

SVM尝试寻找一个最优的决策边界距离两个类别的最近的样本最远。

Support Vectors（支持向量）：正好卡住分界面的点，支持向量。

Support Vectors决定了能够移动的范围margin。

直观上讲，margin越大代表容错能力越强。

SVM要最大化margin！

 

解决的是线性可分问题 -- Hard Margin SVM。很多情况下数据都是线性不可分的，此时SVM可以做进一步改进成Soft Margin SVM的算法。