动手学深度学习笔记三

Task06 错题

一.批量归一化和残差网络

二.凸优化

可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。

三.梯度下降

实现深层循环神经网络需要修改的参数是？num_layers
3.
GRU有重置门和更新门，没有遗忘门。重置门有助于捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列⾥长期的依赖关系。参考视频1分20秒起关于GRU的原理讲解。
4.
每个循环单元中的记忆细胞和循环单元的值为LSTM模型中的隐状态，而非参数，因此不需要初始化。
5.
LSTM和GRU能一定程度缓解梯度消失与梯度爆炸的问题。
RNN层数越深效果未必越好，层数的加深会导致模型的收敛变得困难。

Task07 错题

一.优化算法进阶

二.word2vec

可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。

三.词嵌入进阶

实现深层循环神经网络需要修改的参数是？num_layers
3.
GRU有重置门和更新门，没有遗忘门。重置门有助于捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列⾥长期的依赖关系。参考视频1分20秒起关于GRU的原理讲解。
4.
每个循环单元中的记忆细胞和循环单元的值为LSTM模型中的隐状态，而非参数，因此不需要初始化。
5.
LSTM和GRU能一定程度缓解梯度消失与梯度爆炸的问题。
RNN层数越深效果未必越好，层数的加深会导致模型的收敛变得困难。

Task08 错题

一.文本分类

二.数据增强

可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。

三.模型微调

实现深层循环神经网络需要修改的参数是？num_layers
3.
GRU有重置门和更新门，没有遗忘门。重置门有助于捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列⾥长期的依赖关系。参考视频1分20秒起关于GRU的原理讲解。
4.
每个循环单元中的记忆细胞和循环单元的值为LSTM模型中的隐状态，而非参数，因此不需要初始化。
5.
LSTM和GRU能一定程度缓解梯度消失与梯度爆炸的问题。
RNN层数越深效果未必越好，层数的加深会导致模型的收敛变得困难。