cifar10分类实验笔记

1、softmax回归，准求率 test: 0.31, train: 0.33        欠拟合。

2、三层神经网络，准确率 test: 0.39, train: 0.44       参数这么多还欠拟合，所以网络结构很重要。

3、卷积神经网络，第一层[5*5*32]  stride=1  max_pool [2*2] stride=2; 第二层[3*3*64]....

     然后，接一层全链接，再接softmax回归。  准确率 test：0.58，train：0.80

     轻微欠拟合，又有过拟合。

4、在3的基础上，把第一层卷积改成2个[3*3]串联。准确率 test：0.64，train: 0.87

     借鉴了vgg，卷积层增加，参数变少，模型泛化能力更强了。

5、在3的基础上，把全连接层改成卷积层接全局平均池化层。 准确率 test：0.41，train：0.45      欠拟合

6、在5的基础上，把第二层卷积[3*3]改成[3*1]和[1*3]串联。准确率 test：0.44，train: 0.52         欠拟合

     借鉴了inception v3，卷积层怎加，参数变少，训练速度变快很多，模型变强。

7、在6的基础上，把第一层卷积核改成[3*3]。准确率 test：0.43，train:  0.50            欠拟合

     第一层卷积核变小，模型稍微变弱一点。

8、在5的基础上，把第一层卷积核[5*5]改成[5*1]和[1*5]并联。准确率 test：0.50，train：0.58

     模型变强。

9、在8的基础上，把第一层卷积核改成[7*1]和[1*7]并联。准确率 test:  0.51，train:  0.59

     模型变强不明显。

10、在8的基础上，把第一层卷积核改成[9*1]和[1*9]并联。准确率 test:  0.49,  train:  0.58

     模型变弱。

11、在8的基础上，把第一层卷积核输出通道加倍到64。准确率 test:  0.53，train:  0.61

     模型变强。

12、在8的基础上，在第二层用[1*1]卷积核先降维，再在后面升维。准确率 test：0.47  train：0.51

     效果一般。

13、在8的基础上，把第二层卷积核输出通道在第一个[3*1]时就加倍。准确率 test:  0.54  train:   0.63

     效果跟11一样，训练速度却只有11的1/3。

 14、在13的基础上，后面接一个softmax回归。准确率 test:   0.56   train:  0.69

     效果稍微变好。

 15、在14的基础上，第三层卷积改成[3*1]和[1*3]串联。 准确率 test:  0.49    train:  0.52

    模型变弱。