机器学习（数据挖掘）面试常考问题（知识点总结）
数据挖掘（机器学习）面试--SVM面试常考问题
应聘数据挖掘工程师或机器学习工程师，面试官经常会考量面试者对SVM的理解。
以下是我自己在准备面试过程中，基于个人理解，总结的一些SVM面试常考问题（想到会再更新），如有错漏，请批评指正。（大神请忽视）
转载请注明出处：blog.csdn.net/szlcw1
注：基于HOG-SVM算法的行人检测流程 见书21页（实用性目标检测与跟踪算法㢆及应用） 相関概念需要牢记，流程图
SVM的原理是什么？
SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机）
（1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；
（2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；
（3）当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。
注：以上各SVM的数学推导应该熟悉：硬间隔最大化（几何间隔）---学习的对偶问题---软间隔最大化（引入松弛变量）---非线性支持向量机（核技巧）。
SVM为什么采用间隔最大化？
当训练数据线性可分时，存在无穷个分离超平面可以将两类数据正确分开。
感知机利用误分类最小策略，求得分离超平面，不过此时的解有无穷多个。
线性可分支持向量机利用间隔最大化求得最优分离超平面，这时，解是唯一的。另一方面，此时的分隔超平面所产生的分类结果是最鲁棒的，对未知实例的泛化能力最强。
然后应该借此阐述，几何间隔，函数间隔，及从函数间隔—>求解最小化1/2 ||w||^2 时的w和b。即线性可分支持向量机学习算法—最大间隔法的由来。
为什么要将求解SVM的原始问题转换为其对偶问题？
一、是对偶问题往往更易求解（当我们寻找约束存在时的最优点的时候，约束的存在虽然减小了需要搜寻的范围，但是却使问题变得更加复杂。为了使问题变得易于处理，我们的方法是把目标函数和约束全部融入一个新的函数，即拉格朗日函数，再通过这个函数来寻找最优点。）
二、自然引入核函数，进而推广到非线性分类问题。
为什么SVM要引入核函数？
当样本在原始空间线性不可分时，可将样本从原始空间映射到一个更高维的特征空间，使得样本在这个特征空间内线性可分。
引入映射后的对偶问题：
在学习预测中，只定义核函数K(x,y)，而不是显式的定义映射函数ϕ。因为特征空间维数可能很高，甚至可能是无穷维，因此直接计算ϕ(x)·ϕ(y)是比较困难的。相反，直接计算K(x,y)比较容易（即直接在原来的低维空间中进行计算，而不需要显式地写出映射后的结果）。
核函数的定义：K(x,y)=<ϕ(x),ϕ(y)>，即在特征空间的内积等于它们在原始样本空间中通过核函数K计算的结果。
除了 SVM 之外，任何将计算表示为数据点的内积的方法，都可以使用核方法进行非线性扩展。
svm RBF核函数的具体公式？
Gauss径向基函数则是局部性强的核函数，其外推能力随着参数σ的增大而减弱。
这个核会将原始空间映射为无穷维空间。不过，如果 σ 选得很大的话，高次特征上的权重实际上衰减得非常快，所以实际上（数值上近似一下）相当于一个低维的子空间；反过来，如果 σ 选得很小，则可以将任意的数据映射为线性可分——当然，这并不一定是好事，因为随之而来的可能是非常严重的过拟合问题。不过，总的来说，通过调控参数σ ，高斯核实际上具有相当高的灵活性，也是使用最广泛的核函数之一。
为什么SVM对缺失数据敏感？
这里说的缺失数据是指缺失某些特征数据，向量数据不完整。SVM没有处理缺失值的策略（决策树有）。而SVM希望样本在特征空间中线性可分，所以特征空间的好坏对SVM的性能很重要。缺失特征数据将影响训练结果的好坏。
SVM是用的是哪个库？Sklearn/libsvm中的SVM都有什么参数可以调节？
用的是sklearn实现的。采用sklearn.svm.SVC设置的参数。本身这个函数也是基于libsvm实现的（PS: libsvm中的二次规划问题的解决算法是SMO）。
SVC函数的训练时间是随训练样本平方级增长，所以不适合超过10000的样本。
对于多分类问题，SVC采用的是one-vs-one投票机制，需要两两类别建立分类器，训练时间可能比较长。
sklearn.svm.SVC(C=1.0, kernel='rbf', degree=3, gamma='auto', coef0=0.0, shrinking=True, probability=False,tol=0.001, cache_size=200, class_weight=None, verbose=False, max_iter=-1, decision_function_shape=None,random_state=None)
参数：
l C：C-SVC的惩罚参数C?默认值是1.0
C越大，相当于惩罚松弛变量，希望松弛变量接近0，即对误分类的惩罚增大，趋向于对训练集全分对的情况，这样对训练集测试时准确率很高，但泛化能力弱。C值小，对误分类的惩罚减小，允许容错，将他们当成噪声点，泛化能力较强。
l kernel ：核函数，默认是rbf，可以是‘linear’, ‘poly’, ‘rbf’, ‘sigmoid’, ‘precomputed’
0 – 线性：u'v
1 – 多项式：(gamma*u'*v + coef0)^degree
2 – RBF函数：exp(-gamma|u-v|^2)
3 –sigmoid：tanh(gamma*u'*v + coef0)
l degree ：多项式poly函数的维度，默认是3，选择其他核函数时会被忽略。
l gamma ： ‘rbf’,‘poly’ 和‘sigmoid’的核函数参数。默认是’auto’，则会选择1/n_features
l coef0 ：核函数的常数项。对于‘poly’和 ‘sigmoid’有用。
l probability ：是否采用概率估计？.默认为False
l shrinking ：是否采用shrinking heuristic方法，默认为true
l tol ：停止训练的误差值大小，默认为1e-3
l cache_size ：核函数cache缓存大小，默认为200
l class_weight ：类别的权重，字典形式传递。设置第几类的参数C为weight*C(C-SVC中的C)
l verbose ：允许冗余输出？
l max_iter ：最大迭代次数。-1为无限制。
l decision_function_shape ：‘ovo’, ‘ovr’ or None, default=None3
l random_state ：数据洗牌时的种子值，int值
主要调节的参数有：C、kernel、degree、gamma、coef0。
SVM如何处理多分类问题？
一般有两种做法：一种是直接法，直接在目标函数上修改，将多个分类面的参数求解合并到一个最优化问题里面。看似简单但是计算量却非常的大。
另外一种做法是间接法：对训练器进行组合。其中比较典型的有一对一，和一对多。
一对多，就是对每个类都训练出一个分类器，由svm是二分类，所以将此而分类器的两类设定为目标类为一类，其余类为另外一类。这样针对k个类可以训练出k个分类器，当有一个新的样本来的时候，用这k个分类器来测试，那个分类器的概率高，那么这个样本就属于哪一类。这种方法效果不太好，bias比较高。
svm一对一法（one-vs-one），针对任意两个类训练出一个分类器，如果有k类，一共训练出C(2,k) 个分类器，这样当有一个新的样本要来的时候，用这C(2,k) 个分类器来测试，每当被判定属于某一类的时候，该类就加一，最后票数最多的类别被认定为该样本的类。
机器学习——贝叶斯朴素贝叶斯 知识点与面试总结
贝叶斯判定准则：为最小化总体风险，只需在每个样本上选择能使条件风险R(c|x)最小的类别标记：
/-------------------------------极大似然估计---------------------------------/
估计类的常用策略：先假定其具有某种确定的概率分布形式，再基于训练样本对概率分布的参数进行估计。即概率模型的训练过程就是参数估计过程。
参数估计两大学派：频率主义学派和贝叶斯学派。
（1）频率主义：参数虽然未知，但却是客观存在的固定值，因此，可通过优化似然函数等准则来确定参数值（最大似然）。（2）贝叶斯学派：参数是未观察到的随机变量，本身也可以有分布，因此，可假定参数服从一个先验分布，然后基于观察到的数据来计算参数的后验分布。
/*-----------------------------朴素贝叶斯------------------------------------*/
朴素贝叶斯：
（1）思想：对于给定的待分类项x，通过学习到的模型计算后验概率分布，即：在此项出现的条件下各个目标类别出现的概率，将后验概率最大的类作为x所属的类别。后验概率根据贝叶斯定理计算。
（2）关键：为避免贝叶斯定理求解时面临的组合爆炸、样本稀疏问题，引入了条件独立性假设。
（3）工作原理：
（4）工作流程：1）准备阶段：确定特征属性，并对每个特征属性进行适当划分，然后由人工对一部分待分类项进行分类，形成训练样本。 2）训练阶段：对每个类别计算在样本中的出现频率p(y)，并且计算每个特征属性划分对每个类别的条件概率p(yi | x)； 3）应用阶段：使用分类器进行分类，输入是分类器和待分类样本，输出是样本属于的分类类别。
采用了属性条件独立性假设，
d:属性数目，xi为x在第i个属性上的取值。
贝叶斯估计：
极大似然估计中，直接用连乘计算出的概率值为0，该样本的其他属性值将失效。为了避免其他属性携带的信息被训练集中未出现的属性值“抹去”，在估计概率值需要“平滑”，
优点： 高效、易于训练。对小规模的数据表现很好，适合多分类任务，适合增量式训练。
缺点： 分类的性能不一定很高，对输入数据的表达形式很敏感。（离散、连续，值极大之类的）
Note：为什么属性独立性假设在实际情况中很难成立，但朴素贝叶斯仍能取得较好的效果?
1)对于分类任务来说，只要各类别的条件概率排序正确、无需精准概率值即可导致正确分类；
2)如果属性间依赖对所有类别影响相同，或依赖关系的影响能相互抵消，则属性条件独立性假设在降低计算开销的同时不会对性能产生负面影响。
/*---------------------------半朴素贝叶斯-----------------------------------*/
提出：现实任务中，条件独立性假设很难成立，于是，人们对属性独立性假设进行一定程度的放松。
想法：适当考虑一部分属性间的相互依赖信息，从而既不需进行联合概率计算，又不至于彻底忽略了比较强的属性依赖关系。
/*-----------------------------贝叶斯网------------------------------------*/
/*-------------------------------面试篇---------------------------------*/
1、贝叶斯分类器与贝叶斯学习不同：
前者：通过最大后验概率进行单点估计；后者：进行分布估计。
2、后验概率最大化准则意义？
3、朴素贝叶斯需要注意的地方？
（1）给出的特征向量长度可能不同，这是需要归一化为通长度的向量（这里以文本分类为例），比如说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。
（2）计算要点：
4、经典提问：Navie Bayes和Logistic回归区别是什么？
前者是生成式模型，后者是判别式模型，二者的区别就是生成式模型与判别式模型的区别。
1）首先，Navie Bayes通过已知样本求得先验概率P(Y), 及条件概率P(X|Y), 对于给定的实例，计算联合概率，进而求出后验概率。也就是说，它尝试去找到底这个数据是怎么生成的（产生的），然后再进行分类。哪个类别最有可能产生这个信号，就属于那个类别。
优点：样本容量增加时，收敛更快；隐变量存在时也可适用。
缺点：时间长；需要样本多；浪费计算资源
2）相比之下，Logistic回归不关心样本中类别的比例及类别下出现特征的概率，它直接给出预测模型的式子。设每个特征都有一个权重，训练样本数据更新权重w，得出最终表达式。梯度法。
优点：直接预测往往准确率更高；简化问题；可以反应数据的分布情况，类别的差异特征；适用于较多类别的识别。
缺点：收敛慢；不适用于有隐变量的情况。