机器学习常见面试问题

1、生成模型和判别模型是什么？各有什么优缺点？

2、机器学习常见的评价指标有哪些? 机器学习常见评价指标：AUC、Precision、Recall、F-measure、Accuracy(ROC曲线的含义——横轴FPR，纵轴TPR)？

3、常用的损失函数有哪几种，有什么优缺点？

4、阐述下感知机模型（模型、策略、算法三方面）

5、请说明下KNN算法，KNN由哪三个基本要素决定以及K值的取值过大或者过小会有什么影响？

6、介绍HOG特征提取算法

7、朴素贝叶斯算法的推导过程（特征独立、公式写全）

8、决策树学习包括三个步骤（特征选择（经验熵与经验条件熵之差）、决策树生成和决策树修剪）

9、决策树是什么？

10、决策树与条件概率分布的关系？（决策树表示给定特征条件下类的条件概率分布，这一条件概率分布定义在特征空间的一个划分上，将特征空间划分成互不相交的单元或者区域，并在每个单元定义一个类的概率分布就构成了一个条件概率分布，决策树的一条路径对应于划分中的一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成）

11、 决策树模型是条件概率模型，决策树损失函数是正则化的极大似然函数（损失函数后面加了a|T|项，用于调节模型复杂度与训练数据拟合之间的平衡关系），学习策略是以损失函数为目标函数的最小化，学习算法采用启发式方法近似求解最优化问题。

12、决策树的学习过程是怎么样（递归的选择最优特征）？

13、决策树特征选择的准则是什么？（信息增益g(D,A)=H(D)-H(D|A)与信息增益比gR=g(D,A)/HA(D),信息增益是得知特征X的信息而使得类Y的信息的不确定减少的程度）

14、 ID3算法（用信息增益进行特征选择），C4.5算法（用信息增益比进行特征选择）

15、CART分类回归树，回归树用平方误差最小化，分类树用基尼指数最小化准则（样本集合的不确定性越小），进行特征选择，生成二叉树，剪枝得到的子序列采用了交叉验证法选取最优子树

16、逻辑斯蒂回归模型是条件概率分布，逻辑斯蒂模型中，输出Y=1的对数几率（事件发生的概率与不发生概率的比值）是由输入x的线性函数表示的模型。模型参数估计采用了极大似然估计法，逻辑斯蒂回归学习中通常采用的方法是梯度下降法和拟牛顿法。

17、过拟合有哪几种方法？分别是怎么处理的？

18、介绍下逻辑回归http://www.cnblogs.com/ModifyRong/p/7739955.html

19、什么是核技巧？
支持向量机通过某非线性变换 φ( x) ，将输入空间映射到高维特征空间。特征空间的维数可能非常高。如果支持向量机的求解只用到内积运算，而在低维输入空间又存在某个函数 K(x, x′) ，它恰好等于在高维空间中这个内积，即K( x, x′) =<φ( x) ⋅φ( x′) > 。那么支持向量机就不用计算复杂的非线性变换，而由这个函数 K(x, x′) 直接得到非线性变换的内积，使大大简化了计算。这样的函数 K(x, x′) 称为核函数。

20、SVM
https://blog.csdn.net/xwchao2014/article/details/47948063
SVM中C越大则为了降低整体的目标函数，必须使得ζ越小，这必然会使得1-ζ越大，说明松弛条件更加严格，则说明分类更加严格。
https://blog.csdn.net/cppjava_/article/details/68060439
https://blog.csdn.net/xwchao2014/article/details/47948063
http://www.thpffcj.com/2018/05/22/Python-Machine-Learning-8/

21、SVM没有处理缺失值的策略（决策树有）
https://blog.csdn.net/u012328159/article/details/79413610
https://www.cnblogs.com/ljygoodgoodstudydaydayup/p/7418851.html
当kernel 采用RBF kernel时，gamma越高模型倾向于过拟合，gamma越低模型倾向于欠拟合。

22、详细阐述Adaboost算法流程
https://blog.csdn.net/xwchao2014/article/details/47953353

23、Kmeans算法流程以及优缺点
https://blog.csdn.net/u013719780/article/details/78413770