深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks

  • 作者
  • 摘要
  • 引言
  • 数据集
  • 架构
    • Relu非线性
    • 多GPU训练
    • 局部响应归一化
    • 重叠池化
    • 整体架构
  • 减少过拟合
    • 数据增强
    • 随机失活
  • 训练细节
  • 结果
  • 定性评估
  • 讨论

论文的题目就是标题啦,想必大家都听说过它的大名!介绍了一个经典的卷积神经网络

这里有几点要提醒大家

  • 不要带入当下的环境
  • 尽量把自己带入当时论文创作的环境下思考他为什么能脱颖而出
  • 不要纠结论文里的深度两个字!

作者

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第1张图片
看到作者,想必大家学深度学习的都有听说过,都是巨头啊~!质量一定不错,可以学到好多东西!所以大家跟着我一起研读吧!

摘要

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第2张图片
大概意思是:我们训练了一个大型深度卷积神经网络来将ImageNet LSVRC-2010竞赛的120万高分辨率的图像分到1000不同的类别中。在测试数据上,我们得到了top-1 37.5%, top-5 17.0%的错误率,这个结果比目前的最好结果好很多。这个神经网络有6000万参数和650000个神经元,包含5个卷积层(某些卷积层后面带有最大化池化层)和3个全连接层,最后是一个1000维的softmax。为了训练的更快,我们使用了非饱和神经元并对卷积操作进行了非常有效的GPU实现。为了减少全连接层的过拟合,我们采用了一个最近开发的名为dropout的正则化方法,结果证明是非常有效的。我们也使用这个模型的一个变种参加了ILSVRC-2012竞赛,赢得了冠军并且与第二名 top-5 26.2%的错误率相比,我们取得了top-5 15.3%的错误率。

引言

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第3张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第4张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第5张图片

  • 介绍了一下论文用的数据集
  • 指出因此,与具有层次大小相似的标准前馈神经网络,CNNs有更少的连接和参数,因此它们更容易训练,而它们理论上的最佳性能可能仅比标准前馈神经网络差一点。
  • GPU训练

数据集

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第6张图片

架构

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第7张图片

Relu非线性

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第8张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第9张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第10张图片

  • 提出了Relu的优势,除了我们熟知的可以规避一些和sigmoid那样的梯度消失问题还可以缩短训练时间

多GPU训练

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第11张图片
当时是网络过大才放到多GPU,但是随着==“科技的进步”==现在一般是不同模型放到不同gpu上测试模型效果,或者多gpu训练数据

局部响应归一化

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第12张图片

重叠池化

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第13张图片

整体架构

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第14张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第15张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第16张图片

减少过拟合

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第17张图片

数据增强

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第18张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第19张图片

随机失活

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第20张图片

训练细节

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第21张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第22张图片
在这里插入图片描述
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第23张图片

结果

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第24张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第25张图片
深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第26张图片

定性评估

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第27张图片

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第28张图片

讨论

深度学习经典研读——ImageNet Classification with Deep Convolutional Neural Networks_第29张图片

你可能感兴趣的:(深度学习)