卷积神经网络的深入理解-正则化方法篇

卷积神经网络的深入理解-正则化方法篇

  • 正则化方法(持续补充)
    • 一、显式正则化方法
      • 1、模型集成
      • 2、Dropout技术(神经元)
      • 3、参数正则化方法
    • 二、隐式正则化方法

正则化方法(持续补充)

为防止网络模型出现过拟合这种情况,网络训练中引入了正则化方法。

一、显式正则化方法

包含对网络结构、损失函数的修改,模型使用方法的调整

1、模型集成

模型集成包含两部分:
1、训练多个模型进行结果融合;
2、多次使用不同的数据(训练集测试集选择)训练模型进行结果融合。

2、Dropout技术(神经元)

训练时按概率p随机丢弃部分节点,测试时不丢弃,输出结果乘以p(乘以p这里不太理解后续看源码时进行补充)左边全连接,右边dropout
卷积神经网络的深入理解-正则化方法篇_第1张图片

3、参数正则化方法

直接更改优化目标即更改损失函数,简单有以下两种
1、L1正则化:
在这里插入图片描述
2、L2正则化:
在这里插入图片描述
此时损失函数由两项组成,前一项为原来的损失函数,后一项为正则化项,L1与L2不同的是:
L1正则化是指权值向量w中各个元素的绝对值之和
L2正则化是指权值向量w中各个元素的平方和然后再求平方根
α:由用户指定,越大图形离原点越近,越小图形离原点越远。
下面两幅图左边是L1正则化,右边是L2正则化。参数空间(w1,w2)是一个二维平面,黑色的方形和圆形是正则化项记为L,彩色的是J的等值线
卷积神经网络的深入理解-正则化方法篇_第2张图片
图中左侧,J等值线与L图形相交的地方(0,w)就是最优解,能够想象的是因L有很多突角,J与这些角接触的机率大于其它部分,这些角上许多权值等于0,因此L1正则化可以产生稀疏矩阵,进而可用于特征选择。
图中右侧,L图形相比左侧被磨去了棱角,使得(w1,w2)为(0,0)的概率就小了很多,因此L2不具有稀疏性,只能是类似稀疏性。

二、隐式正则化方法

没有直接对模型进行正则化约束,但间接获取更好的泛化能力。
1、数据标准化,平滑优化目标函数曲面;
2、数据增强,扩大数据集规模;
3、随机梯度下降算法

你可能感兴趣的:(深度学习基础,cnn,机器学习,深度学习,人工智能,神经网络)