HBU-NNDL 作业12：第七章课后题

习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

在小批量梯度下降中：

令，则：

因此我们要使得参数最优，则​为最优的时候的常数，故学习率要和批量大小成正比。

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28)).

公式7.27：

公式7.28：

在Adam算法中：

因此当，的时候：

因此可以发现此时梯度消失，因此需要进行偏差修正。

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立.

参考论文：https://1024.cn-bj.ufileos.com/1024activity2020/1670657110991/1.pdf

在Hanson&Pratt（1988）描述的权重衰减中，权重θ指数衰减为

其中，λ定义了每一步的重量衰减率，是第t个批次梯度乘以学习率α.对于标准SGD，它等效于标准L2正则化：

具有基本学习率α的标准SGD在具有权重衰减的批次损失函数上执行与在没有重量衰减的情况下在上执行相同的步骤，其中

由于这种等价性，L2正则化经常被称为权重衰减，包括在流行的深度学习库中。然而，这种等效性并不适用于Adam方法

现在，让我们转向自适应梯度算法，比如流行的优化器Adam，它根据历史幅度来缩放梯度。直观地，当在损失函数F加L2正则化上运行Adam时，倾向于具有大梯度在F的权重不会像具有解耦权重衰减的权重那样被正则化，因为正则化子的梯度被缩放F

 

第七章总结

 

心得体会

        这是这学期的最后一章内容了，对于网络的优化，包括超参数的选择，优化方法等等，从这学期开始的实验和作业中，就对这些进行不断的摸索。毕竟这也是靠经验累积出来的，只有自己做的多了，才能把握里面的门道。