深度学习之基础模型—resNet

The depth of representation is of central importance for many visual recognition tasks

继VGG和GoogLeNet在网络深度上进行了进一步的尝试，取得了比较大的进展-网络越深效果也越好-，但也遇到了问题：

        网络越深，越容易出现梯度消失，导致模型训练难度变大，出现“退化”现象

注：从VGG的结果也能感觉到，当网络深度达到一定深度的时候，模型的效果很难再提升

作者也进一步通过实验指出了网络深度的增加，会出现“退化”现象，

退化：当模型的深度增加时，输出的错误率反而提高了

Q：如何有效的解决网络深度的增加，带来的“退化”问题？
A：出现退化的问题，主要是由于网络深度的增加，带来的在网络训练的时候，梯度无法有效的传递到浅层网络，导致出现梯度弥散（vanishing）。BN（BatchNormalization）通过规范化输出数据来改变数据分布，是一个向前的过程来解决梯度弥散问题，而resNet网络通过增加skip connection（Identity Map）来直接连接浅层网络与深层网络，从而使得梯度能够很好的传递到浅层。[作者在后面又提出了质疑]

残差网络

针对出现的“退化”问题，作者提出了残差网络的概念：

假设：如果多层非线性层叠加可以渐进逼近复杂的函数，那么也能渐进逼近残差函数：H(X)-X

这样，可以用多层网络来逼近残差函数

F(X):=H(X)−X

从而原来的网络结构就变成了

F(X)+X

其中一个残差结构如下：

说明：

• 如果添加了identity mapings，则结构更深的网络不会比浅的网络效果差
• 多层非线性层叠加在一起构成的网络结构，很难学习到identify mapings
• 如果identity mapings是最优的链接方式，那么 F(X) 方面的权重参数则会趋于0
• 如果最优的映射接近identity mapings，则优化的时候，找到相对于identity mapings的 F(x) （初始参数在0附近），要比逼近一个全新的函数要简单的多

Identity Mapping

关于shortcut connection提出了两种连接方式
方式一：

y=F(X,Wi) +   X

其中 F(X,Wi)=W2σ(W1X) ，如上图上描述的，表示多个非线性卷积层的叠加， σ 表示非线性激活函数ReLU， F+X 表示shortcut connection，对应每一个像素相加。
说明：该网络结构相对于plain Net没有增加任何参数

方式二：

y=F(X,Wi) +WsX

其中，如果想要改变输入输出的channels个数，则可以通过线性变换 Ws 来实现shortcut connection。

关于 F(X,Wi) 论文中也提到，也不要局限于上面提到了2层卷积的连接，可以更加变化丰富多样些，如下

注：其中一个这样的小单元，称之为一个block。在构建深层的网络结构时，作者将第二种结构称之为bottleneck

网络结构

作者在此部分重点对比了plain Network 与resNet两种结构，从而来说明resNet的优越性。

注：左侧：VGG-19（19.6 billion FLOPS），中间：PlainNet-34（3.6 billion FLOPS），右侧：ResNet-34（3.6 billion FLOPS）

说明：

• plain Net根据VGG网络的设计思路，简单的堆积卷积层，构架了一个18层和34层
• resNet与对应的PlainNet的参数个数相同
• resNet网络结构中，
  
  • 实线：代表的是上述提到的方程1，输入输出的维度没有改变，
  • 虚线：代表的是上书提到的方程2，输入输出的维度发生了改变，具体的实现是卷积的步长设置为2

Implemenation

训练说明：

• 随机resize 到256，480
• 随机裁剪224x224
• 随机水平镜像
• 减去均值
• 卷积操作之后，非线性激励函数之前，使用BN（BatchNormalization）操作
• 使用SGD优化，mini-batch=256
• 学习率=0.1，然后当误差不下降后，降低10倍
• 迭代次数 60 x 104
• 没有使用dropout操作

测试说明：

• 对比了标准的10-crop测试（4个角落，中间位置，乘以水平镜像）
• 采用fully convolutional 的形式，对最后的结果取平均（将图像的短边缩放到{224, 256, 384, 480, 640} 之一）

实验

实验一：ImageNet Classification

Q：作者指出优化难度好像并不是由于梯度消失引起的？
A：支持这种观点可以通过上述对比实验可以看出：

These plain neworks are trained with BN, which ensures forward propagated signals to have non-zero variances.

We also verify that the backward propagated gradients exhibit healthy norms with BN.

So neither forward nor backward signals varnish.

实际上，plainNet-34 仍然可以达到具有竞争力的结果，也可以指出优化过程仍然起到了作用。 因此，作者得出，这种深度的plainNets的收敛可能是指数级别的（非常慢）速率，导致训练误差偏高【作者也进一步证明了通过更多的迭代次数（3x），仍然观察到了退化现象】

residual Networks

实验一：

作者对比了18-layer和34-layer的plainNet和ResNets。

说明：

• 两折的基础网络是相同的，resNet同plainNet
• 不同的是ResNet使用了shortcut connection：使得每两个卷积增加了一个shortcut connnection
• 所有的shortcut 采用Identity Mapping，如果维度增加了，则采用0补足，从而相对于plainNet不会带来任何额外参数
• 结果ResNet效果都要比plainNet要好。
  
  • 通过table2，可以看出resNet可以比较好的控制“退化”问题，
  • top-1 error的对比，更能体现残差在提高网络深度方面更加有效
  • 收敛速度：通过对比18-layer发现resNet和plainNet的最终精度差不多，说明网络深度不是特别深的时候，SGD能然可以对plainNet找到一个不错的最优解，但是Resnet提供了一种收敛速度更快的结构

实验二：
对比Identity和projection两种shortcuts connection

说明：

• 作者对比了3种short connections
  
  • A：zero-padding shortcuts for increasing dimensions, identity shortcuts for others
  • B：projection shortcuts for increasing dimensions, identity shortcuts for others
  • C：projection shortcuts for all shortcut
• 通过Table 3可以看出B略微好于A，C好于B。
  
  • B>A：A中的zero-padding没有进行残差学习
  • C>B：C好于B得益于更多的参数（13个projection shortcuts）
• 作者指出：这种结构的细微差别并不是解决“退化”问题的本质因素。为了考虑到模型的参数大小，内存和时间复杂度的问题，在后续的实验中，作者没有考虑C方法

Deeper Bottleneck Architectures

在进行ImageNet挑战的时候，考虑到训练时间问题，作者修改了block结构，由于在3x3卷积前后都采用了1x1的卷积操作，因此称之为bottlenet。
注：1x1卷积主要用来降维和扩维用，使得3x3的卷积输入输出的维度更低。

说明：

• parameter-free：改为bottleneck之后，仍然采用identity mapping进行shortcut connection，没有增加参数个数
• Identity mapping更加适合bottleneck结构：如果将Identity mapping替换为Projection Mapping，由于Projection的输入输出纬度都很高，从而模型的大小和时间负责度都扩大了1倍。因此
-

50-layer-ResNet

在resNet-34的基础上，将block结构中的2层3x3的卷积换成上述的bottleneck结构，并采用B（projection shortcuts for increasing dimensions, identity shortcuts for others）结构来增加维度

101-layer and 152-layer ResNets

利用更多的3-layer结构（bottleneck）来生成更加深的网络结构。但是尽管152的网络结构非常深，但是相比于VGG-16（19）的模型复杂度还是小很多

model	complexity
resNet-152	11.3 billion FLOPS
VGG-16	15.3 billion FLOPS
VGG-19	19.6 billion FLOPS

注：50/101/152-layer的resNets要比34层的结构有更高的精度，并没有观察到“退化”问题。

结果：

参考文献

https://arxiv.org/pdf/1512.03385v1.pdf
http://blog.csdn.net/wspba/article/details/56019373
http://news.ifeng.com/a/20170825/51759378_0.shtml
http://blog.csdn.net/u010789558/article/details/52932427