卷积神经网络调参技巧

对于卷积神经网络的参数设置,没有很明确的方法,这只是我的一些经验。

1、learning-rate 学习速率:学习速率越小,模型收敛花费的时间就越长,但是可以提高模型精确度。一般初始设置为0.1,然后每次除以0.2或者0.5来改进,得到最终值;

2、batchsize 样本批次容量:影响模型的优化程度和收敛速度,需要参考你的数据集大小来设置,具体问题具体分析

3、weightdecay 权重衰减:用来在反向传播中更新权重和偏置,一般设置为0.005;

4、epoch-number 训练次数:包括所有训练样本的一个正向传递和一个反向传递,训练至模型收敛即可;(注:和迭代周期iteration不一样)

而且,也不是说训练的次数越多,测试精度就会越高,唉,我就出现了越训练精确度越差的结果,分析后才知道是出现了过拟合,因为预训练的模型太复杂,而我的数据集样本数量太少,种类太单一。

你可能感兴趣的:(卷积神经网络)