使用权值衰减算法解决神经网络过拟合问题、python实现

使用权值衰减算法解决神经网络过拟合问题、python实现

    • 一、what is 过拟合
    • 二、过拟合原因
    • 三、权值衰减
    • 四、实验验证
      • 4.1制造过拟合现象
      • 4.2使用权值衰减抑制过拟合

一、what is 过拟合

过拟合指只能拟合训练数据,但不能很好拟合不包含在训练数据中的其他数据的状态。

二、过拟合原因

模型参数过多、表现力强

训练数据少

三、权值衰减

这玩意在之前提到过,就是减小权值,通过在学习过程中对大的权重进行惩罚,来抑制过拟合。

深度学习目的是减小损失函数的值,那么为损失函数加上权重平方范数,就可以抑制权重变大。

L2范数是什么,就是相当于各个元素的平方和。如下面数学式子表示。

使用权值衰减算法解决神经网络过拟合问题、python实现_第1张图片<

你可能感兴趣的:(学习笔记,神经网络,python,算法)