动手学深度学习-李沐(8)

一、dropout丢弃法

1、动机

一个好的模型需要对输入数据的扰动鲁棒

丢弃法:在层之间加入噪音——正则

2、方法

给定一个概率,一定概率变成0,一定概率使得元素变大

期望不发生变化

动手学深度学习-李沐(8)_第1张图片

 3、使用

动手学深度学习-李沐(8)_第2张图片动手学深度学习-李沐(8)_第3张图片

 4、总结

 丢弃法将一些输出项随机置0来控制模型复杂度

常作用在多层感知机的隐藏层输出上

丢弃概率来控制模型复杂度的超参数

你可能感兴趣的:(深度学习,人工智能,机器学习)