DenseNet训练

-------------------------------------
batch = 128
1e-03
 1000次0.9
没有BN层     结论：加BN层

6.12 24 16 

5K 0.23 
10K 0.36
15K 0.44
20K 0.46

-------------------------------------
1e-03
 1000次0.9

6.12 24 16 

5K 0.56 
10K 0.68
15K 0.71
20K 0.73
-------------------------------------
1e-03
 1000次0.9

+ Drop 0.2    加不加Drop效果差不多
5K 0.59 
10K 0.67
15K 0.71
20K 0.73

——————————————————————————batch设定
batch = 256

5K 0.56
10K 0.59
15K 0.606   结论：128准确率高
20K __

++++++++++++++++++++++++++++++++++++++++++++++++++++++++BN加tanh
5k 0.506
10k 0.613
15k 0.6625
20k 0.7026
最高：0.77

++++++++++++++++++++++++++++++++++++++++++++++最终
5k 0.506
10k 0.66
15k 0.70
20k 0.72
33：0.77

——————————————————————————————————1
5k 0.524
10k 0.64
15k 0.703
20k 0.7285
33：0.77
-0------------------------
6 12 6 3 结构尝试 ，减少层数
5k 0.57
10k 0.66
15k 0.704
20k 0.74

33：0.77

+++++++++++++++++++++++++++++++++++++++++
5000次减少0.1，学习率改进，结有明显的提升
5k 0.75
10k 0.77
15k 0.78
20k 0.78
最高 )0.79
learning rate 1e-2

5k 0.49
10k 0.60
15k 0.65
20k 0.69
最高 )0.79

5000次减少0.5，学习率改进
5k 0.49
10k 0.60
15k 0.65
20k 0.69
最高 )0.79

3 6 6 2 层太少
5k 0.47
10k 0.57
15k 0.60
20k 0.66
最高 )0.79