【深度学习笔记】正则化与 Dropout

本专栏是网易云课堂人工智能课程《神经网络与深度学习》的学习笔记,视频由网易云课堂与 deeplearning.ai 联合出品,主讲人是吴恩达 Andrew Ng 教授。感兴趣的网友可以观看网易云课堂的视频进行深入学习,视频的链接如下:

神经网络和深度学习 - 网易云课堂

也欢迎对神经网络与深度学习感兴趣的网友一起交流 ~

目录

1 正则化方法

2 Dropout 随机失活


1 正则化方法

        如果神经网络过度拟合了数据(即存在高方差问题),一种解决方法是使用更多的数据进行训练。

        但如果你无法准备足够多的训练数据,那么另一种解决的方法是正则化(Regularization)。正则化通常有助于避免过拟合,或者减少错误率。

【深度学习笔记】正则化与 Dropout_第1张图片

 

        在逻辑回归中,成本函数 J 是 ω 和 b 的函数,其中 ω 是一个高维矢量,b 则是一个实数。在成本函数 J 的基础上增加一项(关于 ω 的 L2 范数),得到如下函数

【深度学习笔记】正则化与 Dropout_第2张图片

其中 λ 称为正则化参数,这种方法也叫做 L2 正则化(L2 Regularization)。

【深度学习笔记】正则化与 Dropout_第3张图片

 

        另一种正则化的方法是增加关于 ω 的 L1 范数,称为 L1 正则化(L1 Regularization)。如果使用 L1 正则化, ω 最终会是稀疏的(换句话说,ω 中会有很多 0)。

【深度学习笔记】正则化与 Dropout_第4张图片

 

        在神经网络中,每一层的权重 W 是一个矩阵,因此正则项使用 W 的 Frobenius 范数,用下标 F 表示。

【深度学习笔记】正则化与 Dropout_第5张图片

        当正则化参数 λ 设置得较大时,最终神经网络各层的权值会接近 0,这会使神经网络从复杂朝着简单的方向演化,模型从过拟合(Overfitting)趋于欠拟合(Underfitting)。当 λ 设为某个值时,模型的评估结果介于高方差与高偏差中间。

2 Dropout 随机失活

        除了 L2 正则化,还有一种常用的方法—— Dropout 随机失活。

 

【深度学习笔记】正则化与 Dropout_第6张图片

        在采用 Dropout 规则的优化算法中,算法会遍历神经网络的每一层,并根据设定的概率,决定每个节点的激活输出得以保留还是消除。

        对于不同的训练样本,算法保留的神经网络节点是不同的,这种方法称为 Dropout 随机失活。当采用 Dropout 时,我们在训练一个简化的神经网络,这对防止过拟合是有帮助的。

你可能感兴趣的:(【深度学习笔记】,深度学习,笔记,人工智能)