高频面试题

1、深度学习如何解决过拟合
dropout：减少参数，模型复杂度减低
batchnorm：每一层做归一化，使参数的绝对值变小
2、梯度消失，爆炸如何产生，如何解决？
产生：反向传播+梯度下降
解决：减小层数；调整学习率；跳过连接（shortcut），lstm，batchnorm
3、rnn梯度消失有何不同
维度不同：时间维度（会消失），纵向维度
含义不同：重要信息的消失
4、交叉熵的由来
熵：-plogp
kl散度：|pa-pb|
交叉熵：palogpb
5、监督学习
6、判别式模型与生成式模型
7、偏差与方差以及过拟合
8、如何解决过拟合
9、xgboost原理
10、xgboost并行
11、xgboost特征分裂