Caffe学习笔记5：学习率、迭代次数和初始化方式对准确率的影响

符号说明

lr：Learning Rate，学习率
te：Training Epochs，训练迭代次数
z：变量初始化为0
t：变量初始化为标准截断正态分布的随机数

最终准确率比较

可以看到：

• 学习率为0.01，迭代次数为50次，并且采用随机初始化方式时准确率远远低于其他方式，甚至不足90%。而学习率为0.1，迭代次数为50次，并且采用随机初始化的方式时准确率最高。
• 对于采用随机初始化的方式，在其他参数相同的情况下增大迭代次数会明显的提高准确率。而对于初始化为0的情况则无明显变化。
• 其他参数相同的情况下，过度增大学习率的确是会导致准确率下降的，查看详细变化过程时可以看到准确率变化波动比较大。

• 在学习率适中，迭代次数较大时变量初始化方式对最终准确率的影响不大。
  下面是我实验的内容：
  1.lr=0.001 Tteration=4000 accuracy=0.6824
  quick_train

  
  
  

  2.png
  
  

  2.lr=0.001 Tteration=4000+5000 accuracy=0.6824
  quick_train

  
  
  

  3.png
  
  3.lr=0.001 Tteration=60000 accuracy=0.6824 full_train

4.png

4.lr=0.001 Tteration=60000 + lr=0.0001 Tteration=65000 accuracy=0.6824 full_train

5.png

5.lr=0.001 Tteration=60000 + lr=0.0001 Tteration=65000 + lr=0.00001 Tteration=70000
full_train

6.png