训练过程中的Overfitting问题

Preventing overfitting

Early stopping

Weight decay

Training with noise

因此,防止过拟合的常用方法有三种:
        第一,提前阻止。通过增加评估数据集,及时调整训练过程中的权重w,使得cost function以最快的速度下降;
        第二,权重衰减法。这里采用的是正则法,通过加入正则项,使得权重及时得到更新,但是这种方法不易操作,因为正则项该如何选则不容易确定;
        第三,无噪声训练。其实就是采用ROI法,将目标区域进行分割,使得目标特征更加明显,在训练过程中不会因为噪声干扰目标特征。但这种方法最大的缺点就是比较费事,需要人工的分割,做标记。应用面较窄。

你可能感兴趣的:(Deep,Learning)