深度学习-权重衰减+丢弃法

这里重点介绍正则化模型技术。对于过拟合的情况,我们可以通过搜集更多的训练数据来缓解过拟合,但是成本过高。在已经拥有尽可能多的高质量数据的情况下,我们就可以将重点放在正则化技术上。

权重衰减

权重衰减是使用最广泛的正则化技术之一,也成为L2正则化。

深度学习-权重衰减+丢弃法_第1张图片深度学习-权重衰减+丢弃法_第2张图片深度学习-权重衰减+丢弃法_第3张图片深度学习-权重衰减+丢弃法_第4张图片

正则项权重是控制模型复杂度的超参数。

丢弃法

一个好的模型需要对输入数据的扰动鲁棒,丢弃法就是在层之间加入噪音。

深度学习-权重衰减+丢弃法_第5张图片深度学习-权重衰减+丢弃法_第6张图片深度学习-权重衰减+丢弃法_第7张图片

总结: 

丢弃法将一些输出项随机置零来控制模型的复杂度

通常是作用在多层感知机的隐藏输出上

丢弃概率是控制模型复杂度的超参数

你可能感兴趣的:(深度学习,机器学习,人工智能)