一张图掌握SVM——支持向量机

前言：     

笔者在学习SVM的过程中找了很多书籍、资料以及学习笔记，但是感觉看起来都云里雾里莫名其妙，始终不得要领，最近在看《统计学习方法》---李航---清华大学出版社---ISBN978-7-302-27595-4一书时，发现其在第7章-支持向量机中对SVM的讲解犹如行云流水，SVM进行深入浅出的讲解，对新入坑的非常友好，能够快速的掌握SVM核心知识，故特将笔者自己的学习心得制作为本图。     

本图特地模仿人脑视觉皮层对事物的处理模型，按照 事物本身的宏观表现---》抽象出特定的问题描述---》套用SVM固定概念框架---》逆向解析复杂问题简化为简单问题的思路---》最终达到能够适配所有表象的数学抽象原理     这种逐层抽象模型对SVM进行了分解： 

编后：    

 严格来讲，对SVM的翻译——支持向量机并不准确，支撑向量机会更加贴切：样本空间中的重要少数样本支撑起了间距最大化判定区间，故上图中均是“支撑向量机”。     

对于宏观问题由繁向简的解决问题思路：我们可以将复杂对象的分类转化为高维特征空间【希尔伯特空间】的分类，对于这种高维特征空间我们暂时无法进行直观的想象，但是根据正定核的定义以及相关核函数技巧【已经验证过的核函数：多项式核函数、高斯核函数、字符串核函数】将高维特征空间映射到低维的抽样样本空间，且无需知道具体的映射规则就可以求得低维样本在高维特征空间的内积；根据这一规则以及核函数的定义，我们就可以根据低维样本抽样取值直接计算高维特征内积值；在取得高维特征的内积取值后依据拉格朗日对偶性我们可以构造出包含高维特征内积的拉格朗日函数，并根据此拉格朗日函数将高维空间的分类问题转化到低维样本空间的凸二次规划问题，它是一个间距最大化约束条件的约束-最优化问题；同时考虑到样本本身的差异性，我们引入松弛变量以及惩罚因子修改约束条件以及最优化函数；最终我们就将问题转化为了二维普通平面的有特殊约束条件的取最值问题；根据KKT判定条件以及偏移最大参数和衍生参数构造出迭代算法从而得到SVM的机器学习算法：序列最小最优化算法【SMO算法】     

本文只是一个概要提纲，要想完整掌握并推导SVM原理，强烈建议完整阅读一遍李航老师的《统计学习方法》第7章。

需要特别注意的是：单纯的svm其实并没有非常特别的学习价值-----仅仅就是一个约束丶优化求极值问题。他跟普通的感知机区别就是取得分割超平面时感知机只需要迭代到总体误差最小即停止，而SVM在其基础上限制了超平面的与最近的支撑向量的间距最大化。但是其中引入的核技巧特别重要，他是人工智能领域最为关键的一种升维技巧，能将低纬度的采样升维到我们最终的目标：高纬度特征空间且不需要知道具体的映射规则。

核函数和核技巧是独立于svm而存在的，比如NLP中的构造词向量空间：当输入空间为欧式空间或离散集合、特征空间为希尔伯特空间时，核函数表示将样本数据从低维输入空间映射到高维特征空间得到的特征向量之间的内积。通过使用核函数可以学习非线性支撑向量机，等价于隐式地在高维稀疏特征空间中学习线性支撑向量机，这样的方法称为核技巧。核方法是比支撑向量机更为一般的机器学习方法。而采用不同的核函数保证高维特征空间的稀疏聚类性是人工智能中最为核心的技术，其他神经网络方法如CNN、RNN、LSTM等本质上也是一种从低维采样到高维特征的映射规则。