神经网络中的过拟合的原因及解决方法、泛化能力、L2正则化

过拟合:训练好的神经网络对训练数据以及验证数据拟合的很好,accuracy很高,loss很低,但是在测试数据上效果很差,即出现了过拟合现象。

过拟合产生的原因:

(1)数据集有噪声

(2)训练数据不足

(3)训练模型过度导致模型非常复杂

解决方法:

(1)降低模型复杂度(缩小宽度和减小深度)

(2)数据集扩增(平移,旋转,缩放,剪切,添加噪音)

(3)正则化。

(4)加入droupout,让神经元以一定的概率不工作。

(5)early stopping

(6)ensemble(集成学习),特征融合。

泛化能力:训练好的神经网络模型对不在训练集中的数据的预测能力。

L2正则化:

 

        正则化后的损失函数多了一项正则项,为正则化参数,若很大,则损失函数偏向于减小权重的值,若很小,则损失函数偏向于减小原损失函数的数值。

为什么正则化能够防止过拟合:

        在神经网络中,正则化网络更倾向于小的权重,在权重小的情况下,数据x随机的变化不会对神经网络的模型造成太大的影响,所以可能性更小的受到数据局部噪音的影响。而未加入正则化的神经网络,权重大,容易通过较大的模型改变来适应数据,更容易学习到局部的噪音。

你可能感兴趣的:(计算机)