深度学习面试你必须知道这些答案

1. 列举常见的一些范数及其应用场景，如 L0，L1，L2，L∞，Frobenius 范数

答：

     

2. 简单介绍一下贝叶斯概率与频率派概率，以及在统计中对于真实参数的假设。

答：https://blog.csdn.net/nbw_gx/article/details/77937712

3. 概率密度的万能近似器

答：常见的高斯混合模型（Gaussian Mixture Model），高斯混合模型是概率密度的万能近似器（universal approximator）。

4. 简单介绍一下 sigmoid，relu，softplus，tanh，RBF 及其应用场景

答：

 sigmoid函数

 

ReLU

softplus

Tanh

RBF

5.Jacobian，Hessian 矩阵及其在深度学习中的重要性

答：

6.KL 散度在信息论中度量的是那个直观量

答：

7. 数值计算中的计算上溢与下溢问题，如 softmax 中的处理方式

答：

8. 与矩阵的特征值相关联的条件数 (病态条件) 指什么，与梯度爆炸与梯度弥散的关系

答：

病态条件

梯度弥散与梯度爆炸

9. 在基于梯度的优化问题中，如何判断一个梯度为 0 的零界点为局部极大值、全局极小值、还是鞍点？Hessian 矩阵的条件数与梯度下降法的关系？

答：

（1）