百面机器学习—4.SVM模型基础知识

---

插眼：

• 百面机器学习—1.特征工程
• 百面机器学习—2. 特征工程与模型评估要点总结
• 百面机器学习—3.逻辑回归与决策树要点总结
• 百面机器学习—4.SVM模型基础知识
• 百面机器学习—5.SVM要点总结
• 百面机器学习—6.PCA与LDA要点总结
• 百面机器学习—7.K均值算法、EM算法与高斯混合模型要点总结
• 百面机器学习—8.概率图模型之HMM模型
• 百面机器学习—9.前馈神经网络面试问题总结
• 百面机器学习—10.循环神经网络面试问题总结
• 百面机器学习—11.集成学习（GBDT、XGBoost）面试问题总结
• 百面机器学习—12.优化算法

---

引言

  SVM有三宝：间隔、对偶、核技巧。下面就这三个方面进行讲解。

一、间隔与支持向量

1.什么是线性可分？

  一个超平面可以将两类点完全分开
数学定义：

2.什么是超平面？什么是最大间隔超平面？

  将 $D_0$和$D_1$ 完全正确地划分开的平面，就是一个超平面。以最大几何间隔把两类样本分开的超平面为最大间隔超平面，即最大化几何间隔
几何间隔：

最大化几何间隔：

约束条件:每个训练样本点关于超平面$(w,b)$ 的几何间隔至少是 $\gamma$

3.什么是支撑向量？

  离超平面最近的点是支撑向量

4.SVM最优化问题

  SVM想要最优化的是各类样本点到超平面的距离最远（其实也就是找到最大间隔超平面）

二、对偶问题

1.约束条件下的目标函数如何求解最优化问题？

  上述得到了有约束的目标函数。对于这类型问题，可以使用拉格朗日乘子法进行求解，将原本有约束的优化问题，转化为对拉格朗日函数的无约束优化问题，然后我们对转化后的目标函数求解极值。

2. 怎么理解对偶问题？

转化后的式子与原来的拉格朗日函数想表达的是一样的

3.什么是对偶问题？

上述的拉格朗日函数具有强对偶关系，这个一般不会要求证明。

4.KKT约束条件

  以SVM为例，KKT条件为：

5.求解硬间隔SVM最优化问题推导

三、软间隔

1.软间隔的提出是解决什么问题的？

  当训练数据不是完全线性可分时，就需要通过软间隔最大化来学习一个线性分类器

2.软间隔后线性SVM的最优化问题是什么？

3.求解软间隔SVM最优化问题推导

四、核函数

1.线性不可分问题怎么解决？

  当训练数据线性不可分时，就需要通过核技巧与软间隔最大化来学习非线性支持向量机。核技巧的基本思想：通过一个非线性变换将输入空间对应于一个特征空间，使得在输入空间的超曲面模型对应于特征空间的超平面模型。即将输入空间的非线性分类问题转化为特征空间的线性分类问题。比如将二维空间线性不可分样本，

映射到高维空间，让在高维空间中线性可分。

2.什么是非线性SVM？

  对于在输入空间中线性不可分的样本，将其映射到更高维度的特征空间里，再通过间隔最大化方式，学习得到非线性支持向量机。

3.为什么要有核函数？

  对于非线性SVM来说，目标函数与之前主要不同的是$\varphi (x_i)\cdot \varphi (x_j)$。由于从低维空间映射到高维空间，然后进行点乘，可见这个映射不管是计算量还是存储量都是非常巨大的。但是有了核函数，就不需要作这样的映射，直接使用原样本维度的点进行计算即可。

4. 有了核函数，如何求解非线性SVM问题？

  有了核函数之后，非线性问题重新转变成了线性问题，和之前求解过程一样，先根据对偶函数求解$\lambda$，然后根据$\lambda$求解w，再根据支撑向量(${\lambda }_i>0$)求解b即可。其实，核函数并不是只有在非线性SVM中用到，只要涉及到向量间的点乘，都可以用到核函数。

5.一些常用的核函数

五、SMO算法在SVM中的应用

可参考机器学习算法实践-SVM中的SMO算法

---

如果对您有帮助，麻烦点赞关注，这真的对我很重要！！！如果需要互关，请评论或者私信！

---