2-5.2 经典机器学习算法-SVM算法优缺点、超参数调节、核函数选择、软硬间隔的推导过程

1、SVM算法的优缺点

2、SVM的超参数C如何调节

3、SVM核函数如何选择

4、简述SVM硬间隔推导过程

5、简述SVM软间隔推导过程

---

1、SVM算法的优缺点

优点：

（1）可以解决高维特征的分类和回归问题

（2）模型最终结果无需依赖全体样本，只需依赖支持向量

（3）有已经研究好的核技巧可以使用，可以应对线性不可分的问题

（4）样本量中等偏小的情况也有较好的效果，有一点泛化能力和鲁棒性。这也是深度学习热门起来之前，SVM比较火的主要原因

缺点：

（1）常规的SVM只支持二分类

（2）SVM在样本巨大且使用核函数时计算量很大

（3）线性不可分数据的核函数选择没有同一标准

（4）SVM对缺失数据和噪声数据较为敏感

（5）SVM更适合同性质的特征，如连续特征，对特征多样性没有更好支持

---

2、SVM的超参数C如何调节

SVM的超参数C用于调节松弛因子的占比，C越大对错误样本的惩罚越大

（1）低偏差、高方差，即遇到了过拟合时，减少C

（2）高偏差、低方差，即遇到了欠拟合时，增大C

---

3、SVM核函数如何选择

（1）当特征维度较高，样本量较少时，不宜使用核函数或者使用线性核的SVM

（2）当特征维度较低，样本量规模大的时候，可以使用高斯核函数，使用前需要对特征进行缩放

总之要看特征维度和样本规模，以免升维后的过拟合

---

4、简述SVM硬间隔推导过程

（1）通过点到平面的距离，构建带有约束条件的原始问题

（2）将原始问题经拉格朗日转换后求解其对偶问题，对拉格朗日函数求偏导，使得导数为0，化简为求拉个朗日系数

（3）通过SMO求解最优的

（4）根据 、w、b 表达式代换，得到超平面

---

5、简述SVM软间隔推导过程

整体过程与硬间隔求解雷同，多了个松弛因子，拉格朗日项也多了一项，对、w、b求导=0

---