机器学习常见面试题

1、L1范式和L2方式的区别

（1）L1范式是对应参数向量绝对值之和

（2）L1范式具有稀疏性

（3）L1范式可以用来作为特征选择，并且可解释性较强（这里的原理是在实际Loss function中都需要求最小值，根据L1的定义可知L1最小值只有0，故可以通过这种方式来进行特征选择）

（4）L2范式是对应参数向量的平方和，再求平方根

（5）L2范式是为了防止机器学习的过拟合，提升模型的泛化能力

2、优化算法及其优缺点

温馨提示：在回答面试官的问题的时候，往往将问题往大的方面去回答，这样不会陷于小的技术上死磕，最后很容易把自己嗑死了。

（1）随即梯度下降

　   优点：可以一定程度上解决局部最优解的问题

　　缺点：收敛速度较慢

（2）批量梯度下降

　　优点：容易陷入局部最优解

　　缺点：收敛速度较快

（3）mini_batch梯度下降

　　综合随即梯度下降和批量梯度下降的优缺点，提取的一个中和的方法。

（4）牛顿法

　　牛顿法在迭代的时候，需要计算Hessian矩阵，当维度较高的时候，计算Hessian矩阵比较困难。

（5）拟牛顿法

　　拟牛顿法是为了改进牛顿法在迭代过程中，计算Hessian矩阵而提取的算法，它采用的方式是通过逼近Hessian的方式来进行求解。

（6）共轭梯度

（7）启发式的优化算法

　　启发式的优化算法有遗传算法，粒子群算法等。这类算法的主要思想就是设定一个目标函数，每次迭代根据相应的策略优化种群。直到满足什么样的条件为止。

3、RF与GBDT之间的区别

（1）相同点

• 都是由多棵树组成
• 最终的结果都是由多棵树一起决定

（2）不同点

• 组成随机森林的树可以分类树也可以是回归树，而GBDT只由回归树组成
• 组成随机森林的树可以并行生成，而GBDT是串行生成
• 随机森林的结果是多数表决表决的，而GBDT则是多棵树累加之和
• 随机森林对异常值不敏感，而GBDT对异常值比较敏感
• 随机森林是通过减少模型的方差来提高性能，而GBDT是减少模型的偏差来提高性能的
• 随机森林不需要进行数据预处理，即特征归一化。而GBDT则需要进行特征归一化

（3）RF：

　　优点：

• 易于理解，易于可视化
• 不需要太多的数据预处理，即数据归一化
• 不易过拟合
• 易于并行化

　　缺点：　　

• 不适合小样本数据，只适合大样本数据
• 大多数情况下，RF的精度低于GBDT
• 适合决策边界的是矩阵，不适合对角线型

（4）GBDT

　　优点：

• 精度高

　　缺点：

• 参数较多，容易过拟合
• 不易并行化

4、SVM的模型的推导

5、SVM与树模型之间的区别

（1）SVM

• SVM是通过核函数将样本映射到高纬空间，再通过线性的SVM方式求解分界面进行分类。
• 对缺失值比较敏感
• 可以解决高纬度的问题
• 可以避免局部极小值的问题
• 可以解决小样本机器学习的问题　　

（2）树模型

• 可以解决大样本的问题
• 易于理解和解释
• 会陷入局部最优解
• 易过拟合

 6、梯度消失和梯度膨胀

（1）梯度消失：

• 根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话，那么即使这个结果是0.99，在经过足够多层传播之后，误差对输入层的偏导会趋于0

• 可以采用ReLU激活函数有效的解决梯度消失的情况

（2）梯度膨胀

• 根据链式法则，如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话，在经过足够多层传播之后，误差对输入层的偏导会趋于无穷大
• 可以通过激活函数来解决

 7、LR的原理和Loss的推导