caffe之CIFAR-10与dropout

CIFAR-10实例
caffe中的CIFAR-10实例重现了Alex Krizhevsky的cuda-convnet中的结果，具体的模型定义、参数、训练步骤等都是按照cuda-convnet中的进行设置的。不过，该实例仍是半成品，目前官网上介绍的只是quick train，对于进一步解释网络细节和训练选择的full training还未完工。
cuda-convnet是Alex Krizhevsky、Ilya Sutskever和Geoffrey E. Hinton在论文ImageNet Classification with Deep Convolutional Neural Networks中的实验代码。它是一套公开的CNN代码，运行于Linux系统上，使用GPU做运算。（但据网友所说，该代码并不能复现论文中的结果，论文中的multi-GPU和dropout也没有实现，而且也没有给出论文中8层卷积神经网络的配置文件）
至于该实例中的数据准备、模型定义以及训练和测试，和MNIST实例中的相差不大，按照步骤一步步来就行了，问题不大。
需要补充一点的是，在训练时，界面中会跳出一系列监控参数，如下所示：

其中，lr指当前迭代时的学习率（learning rate）。loss指训练误差。在测试阶段， #0指accuracy，#1指测试损失（每迭代500次会进行一次测试）。
要比较cpu和gpu的训练速度，只需要在cifar*solver.prototxt（*为通配符，例如cifar10_quick_solver.prototxt）中更改solver_mode的参数即可。

在CIFAR-10实例中加入dropout
由于该篇篇幅比较短，就把在caffe实例中加入dropout的方法写到这里了。
假如我们要在CIFAR-10实例中的ip1和ip2层之间加入dropout，那么我们可以定义一个drop1的层，其类型为Dropout，设置底层blob为ip1，顶层blob也为ip1（为了与原来的层匹配，也可以用其它名字，但是要保证各层之间必须能够衔接上）。然后设置dropout_ratio。至此，就为CIFAR-10实例加入了dropout，若要在MNIST实例中加入dropout，那么方法与此类似。加入dropout后，重新运行程序进行训练即可。具体代码见下图所示，两条下划线中间的部分即加入的dropout部分。

参考文献：
http://blog.csdn.net/stdcoutzyx/article/details/39722999