NNDL 作业12：第七章课后题

目录

习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立. 

总结

---

习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

在小批量梯度下降中有：

 其中,则

因此我们要使得参数最优，则​为最优的时候的常数，故学习率要和批量大小成正比。 

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).

公式7.27：

公式7.28：

在Adam算法中：

因此当，的时候：

因此可以发现此时梯度消失，因此需要进行偏差修正。

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立. 

 参考自：神经网络与深度学习[邱锡鹏] 第七章习题解析

L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。
当与自适应梯度相结合时（动量法和Adam算法），L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。

总结

本学期最后一个实验作业，一整个学期学下来收获很大。锻炼了很多自学、自己以及和同学交流来解决问题的能力，总之，确实是实践出真知。