《动手学》：梯度消失、梯度爆炸_课后作业

梯度消失、梯度爆炸以及Kaggle房价预测

主要内容包括：

1.梯度消失和梯度爆炸

2.考虑到环境因素的其他问题

3.Kaggle房价预测

具体内容(附代码)链接：https://www.kesci.com/org/boyuai/project/share/047a70c00f58bc4f

代码讲解视频链接：伯禹学习平台

---

选择题

1.

关于导致梯度消失和梯度爆炸的描述错误的是：

A.梯度消失会导致模型训练困难，对参数的优化步长过小，收效甚微，模型收敛十分缓慢

B.梯度爆炸会导致模型训练困难，对参数的优化步长过大，难以收敛

C.激活函数使用sigmoid或者tanh可以缓解梯度消失

D.在训练模型时，我们应该采取适当的措施防止梯度消失和梯度爆炸的现象

答案：C

在激活函数的选择的地方讲过，在深层网络中尽量避免选择sigmoid和tanh激活函数，原因是这两个激活函数会把元素转换到[0, 1]和[-1, 1]之间，会加剧梯度消失的现象。

2.

一个在冬季部署的物品推荐系统在夏季的物品推荐列表中出现了圣诞礼物，我们可以推断该系统没有考虑到：

A.协变量偏移

B.标签偏移

C.概念偏移

D.没有问题

答案：A

可以理解为在夏季的物品推荐系统与冬季相比，时间或者说季节发生了变化，导致了夏季推荐圣诞礼物的不合理的现象，这个现象是由于协变量时间发生了变化造成的。

3.

下列关于模型训练实战步骤排序正确的是：

1.模型验证和模型调整（调参）

2.获取数据集

3.模型设计

4.模型预测以及提交

5.数据预处理

A.12345

B.23145

C.25143

D.25314

答案：D

4.

关于协变量偏移、标签偏移、概念偏移的描述中错误的是：

A.协变量偏移和标签偏移可能同时发生

B.标签偏移可以简单理解为测试时出现了训练时没有的标签

C.确保训练集和测试集中的数据取自同一个数据集，即使训练数据和测试数据数据量很少也可以防止协变量偏移和标签偏移

D.概念偏移可以根据其缓慢变化的特点缓解

答案：C

如果数据量足够的情况下，确保训练数据集和测试集中的数据取自同一个数据集，可以防止协变量偏移和标签偏移是正确的。如果数据量很少，少到测试集中存在训练集中未包含的标签，就会发生标签偏移。