NNDL 作业12：第七章课后题

习题7-1 在小批量梯度下降中，试分析为什么学习率要和批量大小成正比

在小批量梯度下降中：

$$g_t(\theta )=\frac{1}{K}\sum _{(x,y)\in S_t}\frac{\partial L(y,f(x;\theta ))}{\partial \theta }$$

$${\theta }_t={\theta }_{t-1}-\alpha g_t$$

令$$g_t=\frac{1}{K}\delta$$，则：$${\theta }_t={\theta }_{t-1}-\frac{\alpha }{K}\delta$$

因此我们要使得参数最优，则$$\frac{\alpha }{K}$$为最优的时候的常数，故学习率要和批量大小成正比。
批量大小越大,随机梯度的方差越小,引入的噪声也越小,训练也越稳定,因此可以设置较大的学习率；反之亦然，所以在小批量梯度下降中，学习率要和批量大小成正比。

习题7-2 在Adam算法中，说明指数加权平均的偏差修正的合理性（即公式(7.27)和公式(7.28).

公式7.27：$${\hat{M}}_t=\frac{M_t}{1-{\beta }_1^t}$$

公式7.28：$${\hat{G}}_t=\frac{G_t}{1-{\beta }_2^t}$$

在Adam算法中：
$$M_t={\beta }_1{M}_{t-1}+(1-{\beta }_1)g_t$$

$$G_t={\beta }_2{G}_{t-1}+(1-{\beta }_2)\odot g_t$$
因此当$${\beta }_1\to 1$$，$${\beta }_2\to 1$$的时候：
$$\underset{{\beta }_1\to 1}{\lim }{M}_t=M_{t-1}$$

$$\underset{{\beta }_2\to 1}{\lim }{G}_t=G_{t-1}$$
因此可以发现此时梯度消失，因此需要进行偏差修正。

习题7-9 证明在标准的随机梯度下降中，权重衰减正则化和L2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立

L2正则化

L2正则化损失函数相对于参数w的偏导数(梯度)

得到损失函数的偏导数结果后，将结果代入梯度下降学习规则中，代入后，打开括号，重新排列，使其等价于在一定假设下的权值衰减方程。

最终重新排列的L2正则化方程和权值衰减方程之间的唯一区别是α(学习率)乘以λ(正则化项)。为了得到两个方程，我们用λ来重新参数化L2正则化方程。

将λ’替换为λ，对L2正则化方程进行重新参数化，将其等价于权值衰减方程，如下式所示。

综上，在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同得证。

但这一结论在动量法和Adam算法中不成立。
L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。
当与自适应梯度相结合时（动量法和Adam算法），L2正则化导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。

全面总结网络优化

总结

本学期最后一个作业了，整个学期学感觉收获很多。每次实验的坚持都增强了自己的自学能力和动手能力，也画了很多的思维导图，发现它真的是一个很好的复习总结的工具，能明晰知识结构体系。在以后的学习生活中可以继续使用下去。

参考

NNDL 作业12：第七章课后题_HBU_David的博客-CSDN博客
在ICLR 2019上作为会议论文发表—解耦权衰减正则化
神经网络与深度学习[邱锡鹏] 第七章习题解析