ImageNet classification with deep convolutional neural network

• 摘要
  作者训练了一个巨大的神经网络将ImageNet LSVRC-2010 contest 集合里面的1.2million高清图像分为1000类。
  在测试数据上，作者的top-1 错误率为37.5%， top-5错误率为17.0%。这两个优于同期的state-of-the-art。AlexNet 网络包含约6千万的参数和约65万神经元。网络架构由5个卷积层、3个全连结层和一个1000路的softmax组成。
  为了使训练更快，作者使用了ReLU和 基于GPU的卷积实现。为了减少过拟合，作者使用了dropout方法。
• 亮点总结
  1）ReLU 非线性
  标准的激活函数为sigmoid，tanh函数。作者没有使用上述函数，而是采用Rectified Linear Units （ReLU）作为激活函数。作者测试发现使用ReLU函数，可以得到several times加速。
  2）多GPU训练
  作者当时使用的GPU是GTX580，显存3G。为了训练这样的大网络，作者使用了2个GPU并行。目前GPU已经发展到了K80，训练AlexNet网络在单GPU就可以实现。
  3）Local Response Normalization
  作者发现使用LRN可以提升2%性能。
  4）Overlapping Pooling
  作者使用s=2， z=3的max pooling方法。
  5）reducing over-fitting
  （a）使用平移，反转等方式制作更多的训练数据。
  （b）通过“改变图象RGB值”的方式制作更多的训练数据。
  6）dropout
  作者使用0.5倍的dropout