深层CNN的调参经验 | A practical theory for designing very deep convolutional neural networks

A practical theory for designing very deep convolutional neural networks

两个前提假设:

  • 1.对于每一个卷积层,其学习更复杂表示的能力应该被保证
  • 2.最高层的感受野应该不大于图像范围

Why deep?

更深:只增加了线性复杂度,但是模型的学习效果却提升了很多

模型结构

深层CNN的调参经验 | A practical theory for designing very deep convolutional neural networks_第1张图片

1.feature level:怎样加入更深的网络

本质上为带限制的优化问题

两个限制:
  • 1.每一层的c-value不应该过小(c-value表示的是学习复杂pattern的能力)
  • 2.最高层的感受野应该不大于图像范围

2.classifier level

common做法:
两层全连接加上每层dropout

效果更好:
将input feature map降采样至small size(5*5至 8*8),然后使用两层5*5的卷积层,最后max pooling加上dropout

3.第一个限制:capacity of learning

3.1 卷积层的作用:

composing more complex patterns from input patterns

深层CNN的调参经验 | A practical theory for designing very deep convolutional neural networks_第2张图片
(a)中生成pattern AB
(b)中卷积层不能很好的学习到pattern AB和他们的关系
解决:
+ 1.使用更大的卷积层
+ 2.通过stride=2降采样来降低响应距离

3.2 没有降采样的CNN,当层数变深时学习效率变低的原因:

随着层数加深,pattern size其实在逐渐增大,有意义的空间关系也在增大,当大部分input patterns的空间关系大于卷积层的filter size,卷积层就无法学到新的复杂patterns

3.3 Measure

深层CNN的调参经验 | A practical theory for designing very deep convolutional neural networks_第3张图片

3.第二个限制:necessity of learning

增加的layers是为了学习新的patterns,当感受野到达input的边界时,无法学习到新的patterns,同时层数的加深会引起过拟合,导致效果变差。

你可能感兴趣的:(论文阅读)