目录:目录
1.如果在大量的超参数中搜索最佳的参数值,那么应该尝试在网格中搜索而不是使用随机值,以便更系统的搜索,而不是依靠运气,请问这句话是正确的吗?
A. 【 】对
B. 【 】不对
答案:
B.【 √ 】不对
2.每个超参数如果设置得不好,都会对训练产生巨大的负面影响,因此所有的超参数都要调整好,请问这是正确的吗?
A. 【 】对
B. 【 】不对
答案:
B.【 √ 】不对
3.在超参数搜索过程中,你尝试只照顾一个模型(使用熊猫策略)还是一起训练大量的模型(鱼子酱策略)在很大程度上取决于:
A. 【 】是否使用批量(batch)或小批量优化(mini-batch optimization)
B. 【 】神经网络中局部最小值(鞍点)的存在性
C. 【 】在你能力范围内,你能够拥有多大的计算能力(注:就是高性能电脑和低性能电脑的区别)
D. 【 】需要调整的超参数的数量
答案:
C.【 √ 】在你能力范围内,你能够拥有多大的计算能力(注:就是高性能电脑和低性能电脑的区别)
4.如果您认为 β \beta β(动量超参数)介于0.9和0.99之间,那么推荐采用以下哪一种方法来对 β \beta β值进行取样?
A. 【 】
r = np.random.rand()
beta = r * 0.09 + 0.9
B. 【 】
r = np.random.rand()
beta = 1 - 10 ** ( - r - 1 )
C. 【 】
r = np.random.rand()
beta = 1 - 10 ** ( - r + 1 )
D. 【 】
r = np.random.rand()
beta = r * 0.9 + 0.09
答案:
B.【 √ 】
r = np.random.rand()
beta = 1 - 10 ** ( - r - 1 )
5.找到好的超参数的值是非常耗时的,所以通常情况下你应该在项目开始时做一次,并尝试找到非常好的超参数,这样你就不必再次重新调整它们。请问这正确吗?
A. 【 】对
B. 【 】不对
答案:
B.【 √ 】不对
6.在视频中介绍的批量标准化中,如果将其应用于神经网络的第l层,您应该对谁进行标准化?
A. 【 】 z [ l ] z^{[l]} z[l]
B. 【 】 W [ l ] W^{[l]} W[l]
C. 【 】 b [ l ] b^{[l]} b[l]
D. 【 】 b [ l ] b^{[l]} b[l]
答案:
A.【 √ 】 z [ l ] z^{[l]} z[l]
7.在标准化公式 z n o r m ( i ) = z ( i ) − μ σ 2 + ϵ z^{(i)}_{norm}=\frac{z^{(i)}-\mu}{\sqrt{\sigma^2+\epsilon}} znorm(i)=σ2+ϵz(i)−μ,为什么要使用epsilon(ϵ)?
A. 【 】为了更准确地标准化
B. 【 】为了避免除零操作
C. 【 】为了加速收敛
D. 【 】防止 μ \mu μ太小
答案:
B.【 √ 】为了避免除零操作
8.批标准化中关于 γ \gamma γ和 β \beta β的以下哪些陈述是正确的?
A. 【 】对于每个层,有一个全局值 γ ∈ R \gamma \in \mathbb{R} γ∈R和一个全局值 β ∈ R \beta \in \mathbb{R} β∈R,适用于于该层中的所有隐藏单元。
B. 【 】 γ \gamma γ和 β \beta β是算法的超参数,我们通过随机采样进行调整
C. 【 】它们确定了给定层的线性变量 z [ l ] z^{[l]} z[l]的均值和方差
D. 【 】最佳值是 γ = σ 2 + ϵ , β = μ \gamma=\sqrt{\sigma^2+\epsilon},\beta=\mu γ=σ2+ϵ,β=μ
E. 【 】它们可以用Adam、动量的梯度下降或RMSprop,而不仅仅是用梯度下降来学习
答案:
C.【 √ 】它们确定了给定层的线性变量 z [ l ] z^{[l]} z[l]的均值和方差
E.【 √ 】它们可以用Adam、动量的梯度下降或RMSprop,而不仅仅是用梯度下降来学习
9.在训练了具有批标准化的神经网络之后,在用新样本评估神经网络的时候,您应该:
A. 【 】如果你在256个例子的mini-batch上实现了批标准化,那么如果你要在一个测试例子上进行评估,你应该将这个例子重复256次,这样你就可以使用和训练时大小相同的mini-batch进行预测。
B. 【 】使用最新的mini-batch的 μ \mu μ和 σ 2 \sigma^2 σ2值来执行所需的标准化
C. 【 】跳过用 μ \mu μ和 σ 2 \sigma^2 σ2值标准化的步骤,因为一个例子不需要标准化
D. 【 】执行所需的标准化,使用在训练期间,通过指数加权平均值得出的 μ \mu μ和 σ 2 \sigma^2 σ2
答案:
D.【 √ 】执行所需的标准化,使用在训练期间,通过指数加权平均值得出的 μ \mu μ和 σ 2 \sigma^2 σ2
10.关于深度学习编程框架的这些陈述中,哪一个是正确的?(选出所有正确项)
A. 【 】即使一个项目目前是开源的,项目的良好管理有助于确保它即使在长期内仍然保持开放,而不是仅仅为了一个公司而关闭或修改。
B. 【 】通过编程框架,您可以使用比低级语言(如Python)更少的代码来编写深度学习算法。
C. 【 】深度学习编程框架的运行需要基于云的机器。
答案:
A.【 √ 】即使一个项目目前是开源的,项目的良好管理有助于确保它即使在长期内仍然保持开放,而不是仅仅为了一个公司而关闭或修改。
B.【 √ 】通过编程框架,您可以使用比低级语言(如Python)更少的代码来编写深度学习算法。