NNDL 作业12:第七章课后题

目录

习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28))

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立

总结


习题7-1 在小批量梯度下降中,试分析为什么学习率要和批量大小成正比

在小批量梯度下降中:

g_t(\theta)=\frac{1}{K}\sum_{(x,y)\in S_t}^{}\frac{\partial L(y,f(x;\theta))}{\partial \theta}

\theta_t=\theta_{t-1}-\alpha g_t

g_t = \frac{1}{K}\delta,则:\theta_t = \theta_{t-1}-\frac{\alpha}{K}\delta

因此我们要使得参数最优,则\frac{\alpha}{K}​为最优的时候的常数,故学习率要和批量大小成正比。

习题7-2 在Adam算法中,说明指数加权平均的偏差修正的合理性(即公式(7.27)和公式(7.28))

公式7.27:\hat{M}_t=\frac{M_t}{1-\beta_1^t}

公式7.28:\hat{G}_t=\frac{G_t}{1-\beta_2^t}

在Adam算法中:
M_t = \beta_1 M_{t-1}+(1-\beta_1)g_t

G_t = \beta_2 G_{t-1} + (1-\beta_2)\odot g_t
因此当\beta_1\rightarrow 1\beta_2 \rightarrow 1的时候:
\lim_{\beta_1\rightarrow 1} M_t = M_{t-1}

\lim_{\beta_2\rightarrow 1} G_t = G_{t-1}
因此可以发现此时梯度消失,因此需要进行偏差修正。

习题7-9证明在标准的随机梯度下降中,权重衰减正则化和l2正则化的效果相同.并分析这一结论在动量法和Adam算法中是否依然成立

NNDL 作业12:第七章课后题_第1张图片

NNDL 作业12:第七章课后题_第2张图片

L2正则化梯度更新的方向取决于最近一段时间内梯度的加权平均值。当与自适应梯度相结合时(动量法和Adam算法),L2正则化导致导致具有较大历史参数 (和/或) 梯度振幅的权重被正则化的程度小于使用权值衰减时的情况。 

总结

NNDL 作业12:第七章课后题_第3张图片

 

你可能感兴趣的:(深度学习,算法)