神经网络论文研究-图像处理方向3-resnet-残差网络

该篇论文的由来:
接上一篇VGG当网络层数超过20的时候其训练效果并不会提高的哪去，这篇论文就是在解决这个问题

核心观念:深层次表征的信息是很多视觉任务的核心点

基于这些问题，
本论文提出了残差学习(Residual learning)作为对应的解决方法
残差函数(residual function)
容易优化
随着深度的提升，准确率提升显著
很好地学习了深度特征表示即通俗理解地高级语义信息

摘要翻译
更深的神经网络更难训练，我们现有的残差学习框架比我们以前使用的更加容易去充分地训练深层神经网络。作为代替学习非参考函数的手段，我们参考了残差学习函数。明白地再现了输入层。我们提供了广泛的完全凭着经验来的证据表明这些残差网络是更容易去优化，以及能够从被认为更深的网络获取准确率，在 imagenet数据集中，我们用多达152层–比8XVGG更深的残差网络衡量了残差网络，但仍然有着更低的复杂度，在imagenet数据集中，一个整体的残差网络达到了3.57%的错误率这个结果获得了ILSVRC2015分类任务第一的成绩，我们也在CIFAR-10中提出了100和1000层的神经网络

深层的特征表达式很多视觉识别任务的中心，仅仅因为特别深的表达，我们在COCO项目中获得了28%的有关改进。深度残差网络是我们在ILSVRC,COCO2015中竞赛的基础，我们也在imgagenet数据集中的目标检测，目标定位，coco检测，coco分割等比赛中获得了第一名。

介绍-翻译

深度的卷积神经网络[22，21在图像分类[21,50,40]任务中已经获得了一系列的突破,深度网络自然地集成了低中高水平的特征[50]，以及一个在端对端的多层的时髦的分类器,以及层数的特征可以被大量的深度/层数丰富，最近的证据显示，神经网络的深度是非常重要的，同时也是用一个16到30层的神经网络做imagenet数据集任务也是非常有挑战性的，很多其他的非平凡的识别任务也是有着非常伟大的优势(非常深的模型)

在深度的意义的驱使下，一个问题出现了，更好的神经网络意味着堆叠更多的层数吗，一个干扰这个问题的回答就是臭名昭彰的从开始就妨碍(函数)收敛的梯度消失/爆炸问题，通过初始化归一化和中间层的初始化(能够让神经网络使用十几层去反向传播使用随机梯度下降(SGD))，这个问题已经极大地解决

当更加深层的神经网络能够去开始转换，一个更加堕落的问题被暴露了出来，当神经网络层数/深度增加时，准确率变得饱和(可能变得不那么让人惊奇)以及迅速地退化。出人意料的是，这样的退化并不是过拟合造成的，并且，一个模型适当的层数(深度)的增加会导致更高的训练错误率，就像报告[11,42]中所讲的那样，彻底核实
我们的实验之后。图1示表现了典型示例。

训练时正确率的下降表明不是所有的系统都非常容易去操作，让我们考虑一个浅显的结构，和它的更深的副产物即增加更多的层数进去。那里存在着更深的模型结构:增加的层数是恒等映射的，以及其他的层数是从更浅的模型那里抄过来的。这个结构解决方案的存在表明相比于更浅的对应的模型，更深的模型应该产生更高的训练误差，但是实验表明我们现在在手边的解决手段是不能去找到更好的结构作为解决方案的

在这篇文章里，我们通过介绍一个深的残差学习框架提出那个降级的问题，作为希望每个少数的直接训练的映射下的堆叠层的替代，我们明确地让这些层训练一个残差的映射。用学术的话来说，就是指示我们需要的映射下的结果作为H(X)，我们让那个堆叠的非线性的层训练其他的映射F(X )=H(x) - x，最初的映射是重铸进F(X)+X，我们假定它是比控制最初的非表现得映射更容易去控制残差映射。极端地讲，如果一个确定的映射是可操控的，通过堆叠一个确定的非线性层，他会比训练一个确定的映射变得更加容易去推动残差到0

通过前向传播神经网络的处理，F(X) +X的系统化的阐述能被认为是切短的连接。切短的连接是这些跳过的一个或者多个层，像我们这种情况，那个被切短的连接仅仅是完成了确定的映射并且他们的输出是被加入到堆叠层中的，确定的切短的连接层既不加入额外的参数，也不增加计算的复杂性。一般的使用者，使用常见的函数库通过反向传播与SGD随机梯度下降法，完整的神经网络可以被端对端地训练，并且被容易地执行

我们在ImageNet上进行了综合实验，[36]展示退化问题并评估我们的方法。我们证明：1）我们的极深的残差网络很容易优化，但是对应的“普通”网络（即当深度增加；2）我们的深的残差网络可以很容易地享受自深度大大增加，精度得到提高，产生的结果大大优于以前的网络的结果。

相似的现象也出现在CIFAR-10数据集中，这种情况暗示了我们这样操作的困难，并且我们方法的结果不只是能运用到类似的特别的数据集。使用了超过100层以及探索了超过1000层的模型之后，我们提出了在这个数据集里成功地训练的模型。

在imagenet分类数据集中，通过使用特别深的残差网络，我们获得了优异的成绩，当仍然有着比VGG更低的复杂性的同时，我们152层的残差网络是目前在imagenet数据集中最深的。在imagenet数据集的测试集中我们总体有3.75%的top-5误差。并且在ILSVRC2015分类任务比赛中赢得了第一名。那个特别深的特征表达同时在其他识别任务中，也有着优异的一般化表现并且在: ImageNet detection, ImageNet localization,COCO detection, and COCO segmentation in ILSVRC &COCO 2015 这些比赛中让我们更进一步获得了第一名。这些强有力的证据表明残差学习原则是具有普适性的，并且在其他的视觉和非视觉任务中我们希望那是个能接受的结果

2释放工作
残差表达。在图像识别中，VLAD[18]是一种被残差向量希望用字典编码的表达，并且费舍尔向量能够像一个概率的版本一样被按配方制造。对于图像的修复与分类他们都是非常强有力的浅层的表达。对于向量分层，编码残差向量已显示是比编码原始向量更有效的

在低水平的版本和电脑图形中，对于局部的不同的方程式，被广泛使用的多重网格的方法[3在多尺度(对于残差解决方案来说，在粗糙的和更出色的缩放之间，每个子问题是有原因的)]再现成像子问题一样的系统。一个可以替代的多重网格的是分层的偏置表现训练(依靠可变的在两个缩放之间表现的残差向量)，那以及被显示在[3,45,46]这些求解程序收敛比标准求解程序快很多的未知的残差性质的解决方案中。这些方法暗示道一个好的再现或者预处理可以简化操作

对于切短的连接来说，实践与理论已经被研究很久了一个早期的多层感知器的训练实践被加入到一个连接自网络从输入到输出的线性层。为了解决提出的梯度下降问题，在一个直接连接到辅助的分类器少数中间的层。那篇论文提出的方法[39,38,31,47]，对于中间层的响应，梯度和传播误差都是被切短的连接执行的。在一个最初的构成切短的分支还有几个更深的分支

与我们的工作同时，“高速公路网”[42，43]，显示具有选通功能的快捷方式连接[15]，这些门依赖于数据，并且具有参数，例如与我们的无参数身份快捷方式形成对比，当选通快捷方式“关闭”（接近零）时公路网中的层表示非残差函数。相反，我们的公式总是学习，剩余函数；我们的身份捷径永远不会关闭，所有的信息都是传递的，还有其他的残差函数需要学习。此外，高速公路网络还没有显示出精度的提高
深度极大增加（例如，超过100层）。

让我们考虑H(X)作为一个用几层堆叠层(对于整个网络来说不是必要的)训练的潜在的映射，通过X指示输入到这几个层中的第一个。如果一个假定是多层的非线性网络能够渐渐地接近复杂的函数，然后它等价于假定的它们能够渐进的残差函数，所以，比我们期待的堆叠层更深地去接近H(X),我们明确地让这些层接近一个残差函数，F(X) = H(X) -X最初地函数因此变成了F(X)+X,尽管这些形式应该被用于渐进地接近我们期望地函数(作为假设)，这些学习地易用性可能是不同的

这个被违反直觉的关于降级问题的现象的再现是积极的。就像我们在介绍中讨论的部分，如果层数/深度的增加能够建造成一个确定的映射，一个更深的模型应该有不比它浅的模型的副产物训练误差大。通过多个非线性层那个梯度问题(梯度消失)预示着求解程序可能在接近一个渐进的确定的映射函数方面有困难。通过残差学习的方式再现之后，如果确定的映射是可操控的，那么，在从0到确定的映射中，对应的求解程序可能只是仅仅作为多层线性层的驱动。

在真实的情况中，那不像一个确定的映射是可操作的那样，但是那是我们的再现可能有助于这个问题的解决的前提下.如果那个操作函数是比一个0映射更加非常接近一个确定映射的函数，那就应该变得更加容易去使用求解程序去找到一个被确定的参考确定映射值扰乱，以至于这个函数像新的一样。我们的实验显示那个学习残差函数一般有着小的回应，这暗示着确定的映射能提供合理的预处理

我们使用差学习的方式到每个由几个堆叠的堆叠层中，一个构建的区块已经被显示在图2，学术地讲，在这个论文里，我们认为构建一个区块会被定义为这样:

这里的X和Y是被作为输入层和输出层的向量来考虑的，函数F(X,{Wi})代表对应的被学习的残差映射，例如，图2那里有两层，F = W2σ(W1x)，σ表示relu函数并且偏置值是省略简化了符号，F+x的操作是被切短的连接的对应的映射执行的以及元素方式的增加。在加入进去之后，我们采取第二种非线性的特征.

式（1）中的快捷连接既不引入extra参数，也不增加计算的复杂性。这不仅仅在,实践中很有吸引力，在我们的比较中也很重要,在普通网络和残差网络之间。我们可以比较同时具有相同数量的参数、深度、宽度和计算成本（可忽略的元素添加除外）

在等式中，X与F的维度必须是相等的，如果不是符号这种情况(当改变输入与输出的颜色通道)，我们能够通过切短连接来适应维度以便执行一个线性项目:

在等式中，我们也使用方形矩阵Ws。为了经济地解决提出的梯度消失问题，我们会将它以实验的形式充分的表达出指定的确定的映射，因此ws只是在匹配维度的时候进行运用.

残差函数F的学习形式是很灵活的，当更多的层数是可能的的时候，在这篇论文的实验中，包含的函数F是有着2到3个层的(见图五)，但是如果函数F只是单层的，有着我们没有观察到的公式，等式1是非常相似的线性层:Y = w1x+x

为了简化，我们也注意到尽管所有的符号是关于充分地连接层，他们是能够用于卷积层的。函数F(X,{Wi})能够表达多层卷积层，在通道之间，元素方式的增加表现在两个特征映射。

3.3. 网络体系结构
测试了各种普通网络网/残差网络之后，我们观察到了一致的现象。为了提供讨论的实例，我们描述了ImageNet数据集的两个模型，如下所示。

普通网络。我们的简单基线（图3，中间）主要是受到了VGG网络架构的启发[41]（图3，左）。卷积层主要有3×3滤波器和遵循两个简单的设计规则：（i）对于相同的输出，特征映射大小，层具有相同数量的过滤器；以及（ii）如果特征映射大小减半，则过滤器的数量加倍，以保持每层的时间复杂性。我们直接通过步长为2的卷积层。网络是以一个全局平均池层和一个1000路径结束与softmax完全连接的层。总数,图3（中间）中的加权层为34。值得注意的是，我们的模型具有较少的过滤器和复杂性低于VGG网络[41]（图3，左）。我们的34-层基线有36亿次浮点运算（乘法加法），这仅为VGG-19的18%（196亿次失败）。

图三以神经网络在imagenet数据集中的架构为例，左边是VGG19的模型，中间是一般的有着34个参数层的普通神经网络，右边，是一个有着34层的残差网络，是一个切短的增长的维度。表一显示了更多的细节与其他的变种。

残差网络
基于普通神经网络，我们插入了切短的连接层，就变成了残差网络的副产物。那个特定的切短的能够被直接使用在输入和输出都是同一个维度的情况(就是图三中被切短的固定的线)。随着维度的增加(有附加点的线被切短),我们考虑到了两种选择:A，被切短的仍然表现为确定的映射。使用额外0整个填充到增加的维度中，这样的操作采用了没有额外的参数的方式B那个在公式中被切短的投影被用于匹配维度，为了这些选择，当被切短的到特征映射去之后变成两个尺寸，它们表现为步长为2.

3.4. 执行

我们对ImageNet数据集的实现遵循以下原则:
在[21，41]中。图像的大小调整为其较短的边运行，并在[256，480]中进行域采样，以进行放大[41]。
从图像或其中随机抽取224×224作物,水平翻转，每像素平均值减去[21]。这个使用[21]中的标准增色。我们采用批量每卷积后的归一化（BN）[16]和激活前，请遵循[16]。我们初始化权重
如[13]所示，从零开始训练所有平网/剩余网。我们使用SGD，最小批量大小为256。学习率
从0.1开始，当误差平台时除以10，模型的培训范围为60×104迭代。我们使用0.0001的重量衰减和0.9的动量。我们按照[16]中的实践，请勿使用辍学[14]。在测试中，为了进行比较研究，我们采用了标准
10作物试验[21]。为了获得最佳结果，我们采用[41,13]中的完全卷积形式，并平均得分，在多个比例（图像的大小调整为更短侧位于{224、256、384、480、640}）。

4实验

4.1. ImageNet数据集分类
我们在由1000个类组成的ImageNet 2012分类数据集[36]上评估了我们的方法。模型对128万张训练图像进行训练，并对50k验证图像进行评估。我们还获得了一个决赛测试服务器报告的100k测试图像的结果。我们评估了前1名和前5名的错误率。普通网络。我们首先评估18层和34层普通网。34层平网如图3（中）。这个18层的平网也是类似的形式。详细架构见表1。表2中的结果表明，较深的34层平原
net比浅层18层具有更高的验证误差普通神经网络。为了揭示原因，在图4（左）中，我们比较了他们在培训过程中的培训/验证错误。我们已经观察到了退化问题——即

表1。ImageNet的体系结构。构建块显示在括号中（另请参见图5），其中包含堆叠的块数。向下采样由conv3 1、conv4 1和conv5 1执行，步长为2。

大概结构

总体结构

图4。ImageNet的训练。细曲线表示训练误差，粗曲线表示中心作物的验证误差。左：普通
18层和34层网络。右图：18层和34层的resnet。在这个图中，残差网络没有额外的参数相比
他们平淡无奇的对手。

表2。ImageNet验证中的前1个错误（%，10个作物测试）。这里resnet与普通resnet相比没有额外的参数。相对应的。图4显示了训练过程。

34层平网在整个训练过程中具有较高的训练误差，整个训练过程，即使解区域，18层平面网络的子空间是18层平面网络的子空间，34第一层。，我们认为这种优化困难不大可能解决，这是由消失的梯度引起的。这些普通网络用BN[16]训练，确保向前传播，信号具有非零方差。我们还验证了，反向传播的梯度表现出良好的的规范，国阵。所以向前和向后的信号都不会消失。事实上，34层平面网仍然能够达到相当的精度（表3），这表明求解器是有效的，在某种程度上。我们推测深平原网可能，具有指数级的低收敛速度，这会影响，减少培训错误3，这种优化困难的原因将在将来研究。

残差网络
接着我们衡量了一个18层和34层的残差网络。基线结构是像包括普通神经网络，期待里面有一个切短的被加入了每个3*3的像图中(右边)的滤波器的连接层一样。在第一个对照(表二和表四右边)我们使用了确定的映射给了所有的切短和用0填充的增加的维度(按A方案进行操作)所以相比于一般神经网络的副产物，它们没有额外的参数

我们从表2和表2得到了三个主要的观察结果图4。首先，用残差学习来扭转这种局面——34层ResNet比18层ResNet好（2.8%）。更重要的是，34层ResNet展示了大大降低了训练误差，并可推广到验证数据集中。这表明退化问题在这种情况下得到了很好的解决，我们设法获得增加深度可提高精度。

表3。ImageNet验证的错误率（%，10作物测试）。VGG-16是基于我们的测试。ResNet-50/101/152属于方案B只使用投影来增加尺寸。

表4。ImageNet上单个模型结果的错误率（%）
验证集（除†在测试集上报告）。

表5。集合的错误率（%）。前5个错误出现在ImageNet的测试集，并由测试服务器报告。

其次，比较了他普通神经网络的副本之后，那个34层的残差网络在top-1错误率为3.5%(表二)，从成功地减少训练误差的结果表明，这种对照地多样性是残差学习在特别深的系统中获得的结果

最后，我们也注意到了18层的残差网络收敛地更快(图四左边与右边)，当该网络(层数)没有那么深地时候(18层)，通用的随机梯度下降的解决程序仍然能够在普通的神经网络中找到一个好的解决方案.在这种情况下，在早期阶段，残差网络能轻松被更快地收敛操控

特征与投影的切短

图5。ImageNet的一个较深的残差函数F。左：a构建块（在56×56特征图上）如图3所示，用于ResNet 34。右：ResNet-50/101/152的“瓶颈”构建块。

无参数，身份快捷方式有助于培训。下一个我们研究投影快捷方式（Eqn.（2））。在表3中，我们
比较三个选项：（A）使用零填充快捷方式，为了增加尺寸，所有快捷方式都是参数自由（与表2和图4右侧相同）；（B）projec快捷方式用于增加尺寸，以及其他快捷方式是标识；（C）所有快捷方式都是投影。表3显示，这三种选项都比普通的期权要大得多。B比A稍好一点。我们
认为这是因为在确实没有剩余的学习的情况下。C略好于B、 我们把它归结为引入的额外参数
通过许多（十三）个投影快捷方式。但是，A/B/C之间的小dif引用表明投影快捷方式是
对于解决退化问题不重要。所以我们在本文的其余部分中不要使用选项C，以减少mem/时间复杂性和模型大小。标识快捷方式为不增加。
下面介绍的瓶颈体系结构。更深层的瓶颈架构。接下来我们描述我们的
ImageNet的更深的网络。由于我们对火车的时间有顾虑，我们可以负担得起，我们修改了建筑块
作为瓶颈设计4对于每个剩余函数F，我们使用3层而不是2层的堆栈（图5）。三层
分别为1×1、3×3和1×1卷积，其中1×1层负责减少和增加（恢复）
尺寸，使3×3层成为瓶颈输入/输出尺寸。图5示出了示例，其中这两种设计都具有相似的时间复杂性。
无参数标识快捷方式对于瓶颈体系结构来说尤其重要。如果图5（右）中的标识短被投影替换，则可以
显示时间复杂度和模型大小都翻了一番，因为快捷方式连接到二维
末端。所以身份快捷方式可以导致更高效的模型为瓶颈设计。
50层ResNet：我们替换中的每个2层块
34层网与此3层瓶颈块，构成50层ResNet（表1）。我们使用选项B来增加
尺寸。这个模型有38亿次失败。101层和152层resnet：我们构造101-通过使用更多的3层块来实现分层和152层重网（表1）。值得注意的是，尽管深度增加，152层ResNet（113亿次失败）仍然
比VGG-16/19网络的复杂度低（15.3/19.6 bil lion FLOPs）。
50/101/152层resnet比在34层中有相当大的差距（表3和表4）。
我们没有观察到退化问题，因此，从显著增加的数据中获得了显著的精度提高
深度。所有评估都见证了深度的好处指标（表3和表4）。
与最新方法的比较。在表4中我们与以前最好的单模型结果进行了比较。我们的基线34层resnet已经达到了非常有竞争力的精度。我们的152层ResNet只有一个模型前5名验证误差为4.49%。这个单一模型的结果优于所有以前的集成结果（表5）。我们将六个不同深度的模型组合成一个整体
（提交时只有两个152层）。这导致测试集的前5名误差为3.57%（表5）。该作品获得了2015年ILSVRC的第一名。