NNDL 实验八 网络优化与正则化(6)网络正则化

7.6 网络正则化方法

正则化(Regularization)是一类通过限制模型复杂度,从而避免过拟合、提高泛化能力的方法,比如引入约束、增加先验、提前停止等。

本节构建一个小数据集和多层感知器来模拟一个过拟合的实验场景,并实现ℓ2正则化、权重衰减和暂退法,观察这些正则化方法是否可以缓解过拟合现象。

7.6.1 数据集构建

7.6.2 模型构建

7.6.2.1 ReLU算子

7.6.2.2 自定义多层感知器

7.6.2.3 损失函数算子

7.6.2.4 模型训练

7.6.3 ℓ1和ℓ2正则化

7.6.4 权重衰减

7.6.5 暂退法

你可能感兴趣的:(DeepLearning,深度学习,人工智能)