防止过拟合

防止拟合方法概要

• 更多的数据
• 不复杂数据（手写体识别），使用浅层网络
• 正则化
• Dropout
• 数据增强
• Early Stopping

正则化

θ为W,b，正则化让其变小，这样线性函数的斜率的坡度更加的平缓，拟合的效果更加的平滑。

pytroch实现

Early Stopping

训练集数据上已经过拟合，与验证集上的误差越来越大，这时候早停。

Dropout

随机的去除神经元，好处在于学习拟合的曲线更加的平滑，减少噪声对其的影响。


注意：torch中的概率为dropout的概率，而pytorch的概率为保持的概率。

做测试的时候，不适用dropout，调用.eval()方法。