SVM算法

SVM算法​
SVM算法也没有多么神秘。其最核心的思想就是从Input Space向更高维的Feature Space的映射，进行有Margin的线性分类。

​ 在线性可分问题中，对于样本点来说，存在一根直线可以将样本点划分，我们称之为Hard Margin SVM；但是事实上，并不是所有情况都是完美的

​ Soft Margin：有时候包含少量的异常点而导致的数据集不能线性可分的情况，事实上，无论是Hard Margin还是Soft Margin其实都是对于线性支持向量机来说的。

​ SVM中解决非线性问题：在低维空间中线性不可能的数据，可以转化成高维度数据，使得数据更具有分析性；然后使用核函数，其在高维空间上的运算等价于低维空间，从而解决了运算量大的问题。数学家玩起了把戏，其中巧妙的数学变换令人惊叹不已，故而本篇文章命名为Kernel Trick。

SVM算法的主要优点有：

1. 解决高维特征的分类问题和回归问题很有效,在特征维度大于样本数时依然有很好的效果。
2. 仅仅使用一部分支持向量来做超平面的决策，无需依赖全部数据。
3. 有大量的核函数可以使用，从而可以很灵活的来解决各种非线性的分类回归问题。
4. 样本量不是海量数据的时候，分类准确率高，泛化能力强。

SVM算法的主要缺点有：

1. 如果特征维度远远大于样本数，则SVM表现一般。
2. SVM在样本量非常大，核函数映射维度非常高时，计算量过大，不太适合使用。
3. 非线性问题的核函数的选择没有通用标准，难以选择一个合适的核函数。
4. SVM对缺失数据敏感。