六 动手学深度学习v2 ——权重衰退+dropout

1. 权重衰退

• 最常见的用来处理过拟合的方法

1. 使用均方范数作为硬性限制
   
2. 使用均方范数作为软性限制
   

总结：
正则化是处理过拟合的常用方法：在训练集的损失函数中加入惩罚项，以降低学习到的模型的复杂度。
保持模型简单的一个特别的选择是使用L2惩罚的权重衰减。这会导致学习算法更新步骤中的权重衰减。
权重衰减功能在深度学习框架的优化器中提供。
在同一训练代码实现中，不同的参数集可以有不同的更新行为。

2. dropout
dropout在前向传播过程中，计算每一内部层的同时丢弃一些神经元。
dropout可以避免过拟合，它通常与控制权重向量的维数和大小结合使用的。
dropout将活性值h替换为具有期望值h的随机变量。
dropout仅在训练期间使用。

Q&A
dropout是在全连接层上使用