NNDL 作业12:第七章课后题

习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

很明显可以看出,学习率要和批量大小成正比。 

批量大小越大,随机梯度的方差越小,引入的噪声也越小,训练也越稳定,因此可以设置较大的学习率,而批量大小较小时,需要设置较小的学习率,否则模型会不收敛,因此学习率随批量大小的增加而反应也增大,即成正比关系。

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).

NNDL 作业12:第七章课后题_第1张图片

习题7-9 证明在标准的随机梯度下降中,权重衰减正则化和l,正则化的效果相同.并分析这一结论在动量法和 Adam算法中是否依然成立.

NNDL 作业12:第七章课后题_第2张图片

NNDL 作业12:第七章课后题_第3张图片

在标准的随机梯度下降中, 权重衰减正则化和 ℓ2 正则化的效果相同. 因此, 权重衰减在一些深度学习框架中通过 ℓ2 正则化来实现. 但是, 在较为复杂的优化方法( 比如 Adam) 中, 权重衰减正则化和 ℓ2 正则化并不等价.

全面总结网络优化

NNDL 作业12:第七章课后题_第4张图片

你可能感兴趣的:(深度学习,神经网络)