神经网络与深度学习作业12：第七章课后题

---

习题7-1在小批量梯度下降中,试分析为什么学习率要和批量大小成正比.

在小批量梯度下降中有：
$$g_t(\theta )=\frac{1}{K}\sum _{(x,y)ϵS_t}\frac{\partial L(y,f(x;\theta ))}{\partial \theta }$$$${\theta }_t={\theta }_{t-1}-\alpha g_t$$
其中$g_t=\frac{\delta }{K}$,则有：${\theta }_t={\theta }_{t-1}-\frac{\delta }{K}\alpha$
因此我们要使得参数最优，则$\frac{\alpha }{K}$ 为最优的时候的常数，故学习率要和批量大小成正比。

习题7-2在Adam算法中,说明指数加权平均的偏差修正的合理性（即公式(7.27)和公式(7.28)).

在Adam算法中：
$$M_t={\beta }_1{M}_{t-1}+(1-{\beta }_1)g_t$$$$G_t={\beta }_2{G}_{t-1}+(1-{\beta }_2)⨀g_t$$
当${\beta }_1\to 1,{\beta }_2\to 1$的时候时:
$$\underset{{\beta }_1\to 1}{\lim }{M}_t=M_{t-1}$$$$\underset{{\beta }_2\to 1}{\lim }{G}_t=G_{t-1}$$
因此可以发现此时梯度消失，因此指数加权平均需要进行偏差修正。

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l,正则化的效果相同.并分析这一结论在动量法和 Adam算法中是否依然成立.

证明：
设$L_t$为第$t$步的损失函数，有$L_t=L_0+\frac{\lambda }{2}||w|{|}^2$($l_2$正则化)。
求导：
$\frac{\partial L_t}{\partial w}=\frac{\partial L_0}{\partial w}+\lambda w$
$\frac{\partial L_t}{\partial b}=\frac{\partial L_0}{\partial b}$
标准的随机梯度下降：
$w\leftarrow w-\eta (\frac{\partial L_0}{\partial w}+\lambda w)=(1-\eta \lambda )w-\eta \frac{\partial L_0}{\partial w}$
同理有：
$b\leftarrow b-\eta \frac{\partial L_0}{\partial b}$
我们令$\eta \lambda =\beta$,就可以推出：
${\theta }_t\leftarrow (1-\beta ){\theta }_{t-1}-\alpha g_t$
分析这一结论在动量法和 Adam算法中是否依然成立.
L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。
当与自适应梯度相结合时（动量法和Adam算法），
L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。

全面总结网络优化

---

总结

通过此次对于课后习题的回答，感觉收获很大，最后也画了思维导图，对于本章的结构体系更加清楚（思维导图还是挺有用的）然后就是尝试着读了一个英文的论文，发现读不懂，勉勉强强读完了几页，对于存在的、不懂得问题也查了一些，总体来说这次作业还是收获很大的。

References:

英文论文（感兴趣的可以看一看，前半部分我看着写的很棒）：
DECOUPLED WEIGHT DECAY REGULARIZATION
深度学习系列四——优化篇之网络正则化
老师博客：
NNDL 作业12：第七章课后题