卷积神经网络基础知识二

一.卷积神经网络的发展

关于卷积神经网络的原理部分可以来这
知乎 【哈喽】卷积神经网络基础知识一https://zhuanlan.zhihu.com/p/377435159

二.超全卷积神经网络模型（LeNet–AlexNet–GoogLeNet–SqueezeNet–ResNet–DenseNet–MobileNet --ShuffelNet–EfficientNet ）

2.1 LeNet

论文下载传送门 Gradient-based learning applied to document recognition
https://link.zhihu.com/?target=https%3A//ieeexplore.ieee.org/document/726791

2.1.1 简介

LeNet诞生于1994年，由深度学习三巨头之一的Yan LeCun提出，他也被称为卷积神经网络之父。

LeNet主要用来进行手写字符的识别与分类，准确率达到了98%，并在美国的银行中投入了使用。

LeNet莫定了现代卷积神经网络的基础。

2.1.2 网络结构

LeNet网络除去输入输出层总共有六层网络,卷积核都是5*5的，stride=1, 池化都是平均池化:conv->pool->conv->pool->-conv(fc)->fc

网络结构如下图所示：

上图中输入的原始图像大小是32×32像素，卷积层用Ci表示，子采样层（pooling，池化）用Si表示，全连接层用Fi表示。下面逐层介绍其作用和示意图上方的数字含义。

1、C1层（卷积层）：6@28×28

该层使用了6个卷积核，每个卷积核的大小为5×5，这样就得到了6个feature map（特征图）。

（1）特征图大小

每个卷积核（5×5）与原始的输入图像（32×32）进行卷积，这样得到的feature map（特征图）大小为（32-5+1）×（32-5+1）= 28×28

卷积核与输入图像按卷积核大小逐个区域进行匹配计算，匹配后原始输入图像的尺寸将变小，因为边缘部分卷积核无法越出界，只能匹配一次，匹配计算后的尺寸变为Cr×Cc=（Ir-Kr+1）×（Ic-Kc+1），其中Cr、Cc，Ir、Ic，Kr、Kc分别表示卷积后结果图像、输入图像、卷积核的行列大小。

（2）参数个数

由于参数（权值）共享的原因，对于同个卷积核每个神经元均使用相同的参数，因此，参数个数为（5×5+1）×6= 156，其中5×5为卷积核参数，1为偏置参数

（3）连接数

卷积后的图像大小为28×28，因此每个特征图有28×28个神经元，每个卷积核参数为（5×5+1）×6，因此，该层的连接数为（5×5+1）×6×28×28=122304

2、S2层（下采样层，也称池化层）：6@14×14

（1）特征图大小

这一层主要是做池化或者特征映射（特征降维），池化单元为2×2，因此，6个特征图的大小经池化后即变为14×14。回顾本文刚开始讲到的池化操作，池化单元之间没有重叠，在池化区域内进行聚合统计后得到新的特征值，因此经2×2池化后，每两行两列重新算出一个特征值出来，相当于图像大小减半，因此卷积后的28×28图像经2×2池化后就变为14×14。

这一层的计算过程是：2×2 单元里的值相加，然后再乘以训练参数w，再加上一个偏置参数b（每一个特征图共享相同的w和b)，然后取sigmoid值（S函数：0-1区间），作为对应的该单元的值。

2）参数个数

S2层由于每个特征图都共享相同的w和b这两个参数，因此需要2×6=12个参数

（3）连接数

下采样之后的图像大小为14×14，因此S2层的每个特征图有14×14个神经元，每个池化单元连接数为2×2+1（1为偏置量），因此，该层的连接数为（2×2+1）×14×14×6 = 5880

3、C3层（卷积层）：16@10×10

C3层有16个卷积核，卷积模板大小为5×5。
（1）特征图大小

与C1层的分析类似，C3层的特征图大小为（14-5+1）×（14-5+1）= 10×10

（2）参数个数

需要注意的是，C3与S2并不是全连接而是部分连接，有些是C3连接到S2三层、有些四层、甚至达到6层，通过这种方式提取更多特征。

（3）连接数

卷积后的特征图大小为10×10，参数数量为1516，因此连接数为1516×10×10= 151600

4、S4（下采样层，也称池化层）：16@5×5

（1）特征图大小

与S2的分析类似，池化单元大小为2×2，因此，该层与C3一样共有16个特征图，每个特征图的大小为5×5。

（2）参数数量
与S2的计算类似，所需要参数个数为16×2 = 32

（3）连接数

连接数为（2×2+1）×5×5×16 = 2000

5、C5层（卷积层）：120

（1）特征图大小

该层有120个卷积核，每个卷积核的大小仍为5×5，因此有120个特征图。由于S4层的大小为5×5，而该层的卷积核大小也是5×5，因此特征图大小为（5-5+1）×（5-5+1）= 1×1。这样该层就刚好变成了全连接，这只是巧合，如果原始输入的图像比较大，则该层就不是全连接了。

（2）参数个数

与前面的分析类似，本层的参数数目为120×（5×5×16+1） = 48120

（3）连接数

由于该层的特征图大小刚好为1×1，因此连接数为48120×1×1=48120

6、F6层（全连接层）：84

（1）特征图大小

F6层有84个单元，之所以选这个数字的原因是来自于输出层的设计，对应于一个7×12的比特图。

该层有84个特征图，特征图大小与C5一样都是1×1，与C5层全连接。
（2）参数个数

由于是全连接，参数数量为（120+1）×84=10164。跟经典神经网络一样，F6层计算输入向量和权重向量之间的点积，再加上一个偏置，然后将其传递给sigmoid函数得出结果。

（3）连接数

由于是全连接，连接数与参数数量一样，也是10164。

7、OUTPUT层（输出层）：10

Output层也是全连接层，共有10个节点，分别代表数字0到9。如果第i个节点的值为0，则表示网络识别的结果是数字i。

（1）特征图大小

该层采用径向基函数（RBF）的网络连接方式，假设x是上一层的输入，y是RBF的输出，则RBF输出的计算方式是：

上式中的Wij的值由i的比特图编码确定，i从0到9，j取值从0到7×12-1。RBF输出的值越接近于0，表示当前网络输入的识别结果与字符i越接近。

（2）参数个数

由于是全连接，参数个数为84×10=840

（3）连接数

由于是全连接，连接数与参数个数一样，也是840

2.2 AlexNet

论文下载传送门
https://link.zhihu.com/?target=https%3A//papers.nips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

2.2.1 简介

AlexNet由Alex Krizhevsky于2012年提出，夺得2012年ILSVRC比赛的冠军，top5预测的错误率为16.4%，远超第一名。AlexNet采用8层的神经网络，5个卷积层和3个全连接层(3个卷积层后面加了最大池化层)，包含6亿3000万个链接，6000万个 参数和65万个神经元。

2.2.2 网络结构

AlexNet总共包含8层，5个卷积层，3个全连接层，输出 为1000个类别的softmax层。如下图所示：

从图上可以明显看到网络结构分为上下两侧，这是因为网络分布在两个GPU上，是因为NVIDIA GTX 580 GPU只用3GB内存，装不下那么大的网络。为了减少GPU之间的通信，第2,4,5个卷积层只连接同一个GPU上的上一层的kernel map(指和卷积核相乘后得到的矩阵)。第三个卷积层连接第二层的所有的kernel map。全连接的神经元连接到上一层的所有神经元。第1,2个卷积层里ReLU操作后轴LRN操作。第1,2,5卷积层卷积之后进行max pooling操作。ReLU激活函数应用于所有的卷积层和全连接层。

在AlexNet中，我们标记5个卷积层依次2为C1,C2,C3,C4,C5。而每次卷积后的结果在上图中可以看到，比如经过卷积层C1后，原始的图像变成了55x55的尺寸，一共有96个通道，分布在2张3G的显卡上，所以上图中一个立方体的尺寸是55x55x48，48是通道数目（后面会详细的说明），而在这个立方体里面还有一个5x5x48的小立方体，这个就是C2卷积层的核尺寸，48是核的厚度（后面会详细说明）。这样我们就能看到它每一层的卷积核尺寸以及每一层卷积之后的尺寸。我们按照上面的说明，推到下每一层的卷积操作：

需要说明的是，虽然AlexNet网络都用上图的结构来表示，但是其实输入图像的尺寸不是224x224x3，而应该是227x227x3，大家可以用244的尺寸推导下，会发现边界填充的结果是小数，这显然是不对的，在这里就不做推导了。

AlexNet各个层的参数和结构如下：

输入层：227x227x3
C1：96x11x11x3 （卷积核个数/高/宽/深度）
C2：256x5x5x48（卷积核个数/高/宽/深度）
C3：384x3x3x256（卷积核个数/高/宽/深度）
C4：384x3x3x192（卷积核个数/高/宽/深度）
C5：256x3x3x192（卷积核个数/高/宽/深度）

2.2.3 创新点

（1）ReLU作为激活函数。

ReLU为非饱和函数，论文中验证其效果在较深的网络超过了SIgmoid，成功解决了SIgmoid在网络较深时的梯度弥散问题。

（2）Dropout避免模型过拟合

在训练时使用Dropout随机忽略一部分神经元，以避免模型过拟合。在alexnet的最后几个全连接层中使用了Dropout。

（3）重叠的最大池化

之前的CNN中普遍使用平均池化，而Alexnet全部使用最大池化，避免平均池化的模糊化效果。并且，池化的步长小于核尺寸，这样使得池化层的输出之间会有重叠和覆盖，提升了特征的丰富性。

（4）提出LRN层

提出LRN层，对局部神经元的活动创建竞争机制，使得响应较大的值变得相对更大，并抑制其他反馈较小的神经元，增强了模型的泛化能力。

（5）GPU加速

（6）数据增强

随机从256256的原始图像中截取224224大小的区域（以及水平翻转的镜像），相当于增强了（256-224）*（256-224）*2=2048倍的数据量。使用了数据增强后，减轻过拟合，提升泛化能力。避免因为原始数据量的大小使得参数众多的CNN陷入过拟合中。

2.3 VGGNet

论文下载传送门 https://link.zhihu.com/?target=https%3A//arxiv.org/pdf/1409.1556.pdf

2.3.1 简介

VGGNet是牛津大学计算机视觉组和ＤｅｅｐＭｉｎｄ公司共同研发一种深度卷积网络，并且在２０１４年在ILSVRC比赛上获得了分类项目的第二名和定位项目的第一名，VggNet一共有六种不同的网络结构，但是每种结构都有含有５组卷积，每组卷积都使用３ｘ３的卷积核，每组卷积后进行一个２ｘ２最大池化，接下来是三个全连接层．在训练高级别的网络时，可以先训练低级别的网络，用前者获得的权重初始化高级别的网络，可以加速网络的收敛。

2.3.2 网络结构

VGGNet的网络结构如下图所示。VGGNet包含很多级别的网络，深度从11层到19层不等，比较常用的是VGGNet-16和VGGNet-19。VGGNet把网络分成了5段，每段都把多个3*3的卷积网络串联在一起，每段卷积后面接一个最大池化层，最后面是3个全连接层和一个softmax层。

6个部分，前5段卷积网络，最后一段全连接网络。

第一段卷积网络，两个卷积层，一个最大池化层。卷积核大小3x3，卷积核数量(输出通道数) 64，步长1x1，全像素扫描。

第一卷积层输入input_op尺寸224x224x3，输出尺寸224x224x64。

第二卷积层输入输出尺寸224x224x64。最大池化层2x2，输出112x112x64。

第二段卷积网络，2个卷积层，1个最大池化层。卷积输出通道数128。输出尺寸56x56x128。

第三段卷积网络，3个卷积层，1个最大池化层。卷积输出通道数256。输出尺寸28x28x256。

第四段卷积网络，3个卷积层，1个最大池化层。卷积输出通道数512。输出尺寸14x14x512。

第五段卷积网络，3个卷积层，1个最大池化层。卷积输出通道数512。输出尺寸7x7x512。输出结果每个样本，扁平化为长度7x7x512=25088一维向量。

连接4096隐含点全连接层，激活函数ReLU。连接Dropout层。

全连接层，Dropout层。

最后连接1000隐含点全连接层，Softmax 分类输出概率。输出概率最大类别。

2.3.3 创新点

VGGNet全部使用33的卷积核和22的池化核，通过不断加深网络结构来提升性能。网络层数的增长并不会带来参数量上的爆炸，因为参数量主要集中在最后三个全连接层中。同时，两个33卷积层的串联相当于1个55的卷积层，3个33的卷积层串联相当于1个77的卷积层，即3个33卷积层的感受野大小相当于1个77的卷积层。但是3个33的卷积层参数量只有77的一半左右，同时前者可以有3个非线性操作，而后者只有1个非线性操作，这样使得前者对于特征的学习能力更强。

使用11的卷积层来增加线性变换，输出的通道数量上并没有发生改变。这里提一下11卷积层的其他用法，11的卷积层常被用来提炼特征，即多通道的特征组合在一起，凝练成较大通道或者较小通道的输出，而每张图片的大小不变。有时11的卷积神经网络还可以用来替代全连接层。

其他小技巧。VGGNet在训练的时候先训级别A的简单网络，再复用A网络的权重来初始化后面的几个复杂模型，这样收敛速度更快。VGGNet作者总结出LRN层作用不大，越深的网络效果越好，11的卷积也是很有效的，但是没有33的卷积效果好，因为3*3的网络可以学习到更大的空间特征。

2.4 GoogLeNet(Google inception Net)

论文下载传送门 https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1409.4842

2.4.1 简介

2014年，GoogLeNet和VGG是当年ImageNet挑战赛(ILSVRC14)的双雄，GoogLeNet获得了第一名、VGG获得了第二名，这两类模型结构的共同特点是层次更深了。VGG继承了LeNet以及AlexNet的一些框架结构，而GoogLeNet则做了更加大胆的网络结构尝试，虽然深度只有22层，但大小却比AlexNet和VGG小很多，GoogleNet参数为500万个，AlexNet参数个数是GoogleNet的12倍，VGGNet参数又是AlexNet的3倍，因此在内存或计算资源有限时，GoogleNet是比较好的选择；从模型结果来看，GoogLeNet的性能却更加优越。

有没有一种方法既能保持网络结构的稀疏性，又能利用密集矩阵的高计算性能。大量的文献表明可以将稀疏矩阵聚类为较为密集的子矩阵来提高计算性能，就如人类的大脑是可以看做是神经元的重复堆积，因此，GoogLeNet团队提出了Inception网络结构，就是构造一种“基础神经元”结构，来搭建一个稀疏性、高计算性能的网络结构。

Inception历经了V1、V2、V3、V4等多个版本的发展，不断趋于完善，下面一一进行介绍。

2.4.2 网络版本

Inception V1 https://arxiv.org/pdf/1409.4842.pdf

通过设计一个稀疏网络结构，但是能够产生稠密的数据，既能增加神经网络表现，又能保证计算资源的使用效率。谷歌提出了最原始Inception的基本结构：

该结构将CNN中常用的卷积（1x1，3x3，5x5）、池化操作（3x3）堆叠在一起（卷积、池化后的尺寸相同，将通道相加），一方面增加了网络的宽度，另一方面也增加了网络对尺度的适应性。

网络卷积层中的网络能够提取输入的每一个细节信息，同时5x5的滤波器也能够覆盖大部分接受层的的输入。还可以进行一个池化操作，以减少空间大小，降低过度拟合。在这些层之上，在每一个卷积层后都要做一个ReLU操作，以增加网络的非线性特征。

然而这个Inception原始版本，所有的卷积核都在上一层的所有输出上来做，而那个5x5的卷积核所需的计算量就太大了，造成了特征图的厚度很大，为

了避免这种情况，在3x3前、5x5前、max pooling后分别加上了1x1的卷积核，以起到了降低特征图厚度的作用，这也就形成了Inception v1的网络结构，如下图所示：

1x1卷积的主要目的是为了减少维度，还用于修正线性激活（ReLU）。比如，上一层的输出为100x100x128，经过具有256个通道的5x5卷积层之后(stride=1，pad=2)，输出数据为100x100x256，其中，卷积层的参数为128x5x5x256= 819200。而假如上一层输出先经过具有32个通道的1x1卷积层，再经过具有256个输出的5x5卷积层，那么输出数据仍为为100x100x256，但卷积参数量已经减少为128x1x1x32 + 32x5x5x256= 204800，大约减少了4倍。

GoogLeNet的网络结构图细节如下：

注：上表中的“#3x3 reduce”，“#5x5 reduce”表示在3x3，5x5卷积操作之前使用了1x1卷积的数量。
0、输入

原始输入图像为224x224x3，且都进行了零均值化的预处理操作（图像每个像素减去均值）。

1、第一层（卷积层）

使用7x7的卷积核（滑动步长2，padding为3），64通道，输出为112x112x64，卷积后进行ReLU操作

经过3x3的max pooling（步长为2），输出为((112 - 3+1)/2)+1=56，即56x56x64，再进行ReLU操作

2、第二层（卷积层）

使用3x3的卷积核（滑动步长为1，padding为1），192通道，输出为56x56x192，卷积后进行ReLU操作

经过3x3的max pooling（步长为2），输出为((56 - 3+1)/2)+1=28，即28x28x192，再进行ReLU操作

3a、第三层（Inception 3a层）

分为四个分支，采用不同尺度的卷积核来进行处理

（1）64个1x1的卷积核，然后RuLU，输出28x28x64

（2）96个1x1的卷积核，作为3x3卷积核之前的降维，变成28x28x96，然后进行ReLU计算，再进行128个3x3的卷积（padding为1），输出28x28x128

（3）16个1x1的卷积核，作为5x5卷积核之前的降维，变成28x28x16，进行ReLU计算后，再进行32个5x5的卷积（padding为2），输出28x28x32
（4）pool层，使用3x3的核（padding为1），输出28x28x192，然后进行32个1x1的卷积，输出28x28x32。

将四个结果进行连接，对这四部分输出结果的第三维并联，即64+128+32+32=256，最终输出28x28x256

3b、第三层（Inception 3b层）

（1）128个1x1的卷积核，然后RuLU，输出28x28x128

（2）128个1x1的卷积核，作为3x3卷积核之前的降维，变成28x28x128，进行ReLU，再进行192个3x3的卷积（padding为1），输出28x28x192

（3）32个1x1的卷积核，作为5x5卷积核之前的降维，变成28x28x32，进行ReLU计算后，再进行96个5x5的卷积（padding为2），输出28x28x96

（4）pool层，使用3x3的核（padding为1），输出28x28x256，然后进行64个1x1的卷积，输出28x28x64。

将四个结果进行连接，对这四部分输出结果的第三维并联，即128+192+96+64=480，最终输出输出为28x28x480

第四层（4a,4b,4c,4d,4e）、第五层（5a,5b）……，与3a、3b类似，在此就不再重复。

Inception V2 https://arxiv.org/pdf/1502.03167.pdf

GoogLeNet凭借其优秀的表现，得到了很多研究人员的学习和使用，因此GoogLeNet团队又对其进行了进一步地发掘改进，产生了升级版本的GoogLeNet。

GoogLeNet设计的初衷就是要又准又快，而如果只是单纯的堆叠网络虽然可以提高准确率，但是会导致计算效率有明显的下降，所以如何在不增加过多计算量的同时提高网络的表达能力就成为了一个问题。

Inception V2版本的解决方案就是修改Inception的内部计算逻辑，提出了比较特殊的“卷积”计算结构。

1、卷积分解（Factorizing Convolutions）

大尺寸的卷积核可以带来更大的感受野，但也意味着会产生更多的参数，比如5x5卷积核的参数有25个，3x3卷积核的参数有9个，前者是后者的25/9=2.78倍。因此，GoogLeNet团队提出可以用2个连续的3x3卷积层组成的小网络来代替单个的5x5卷积层，即在保持感受野范围的同时又减少了参数量，如下图：

那么这种替代方案会造成表达能力的下降吗？通过大量实验表明，并不会造成表达缺失。

可以看出，大卷积核完全可以由一系列的3x3卷积核来替代，那能不能再分解得更小一点呢？GoogLeNet团队考虑了nx1的卷积核，如下图所示，用3个3x1取代3x3卷积：

因此，任意nxn的卷积都可以通过1xn卷积后接nx1卷积来替代。GoogLeNet团队发现在网络的前期使用这种分解效果并不好，在中度大小的特征图（feature map）上使用效果才会更好（特征图大小建议在12到20之间）。

2、降低特征图大小

一般情况下，如果想让图像缩小，可以有如下两种方式：

先池化再作Inception卷积，或者先作Inception卷积再作池化。但是方法一（左图）先作pooling（池化）会导致特征表示遇到瓶颈（特征缺失），方法二（右图）是正常的缩小，但计算量很大。为了同时保持特征表示且降低计算量，将网络结构改为下图，使用两个并行化的模块来降低计算量（卷积、池化并行执行，再进行合并）。

使用Inception V2作改进版的GoogLeNet，网络结构图如下：

注：上表中的Figure 5指没有进化的Inception，Figure 6是指小卷积版的Inception（用3x3卷积核代替5x5卷积核），Figure 7是指不对称版的Inception（用1xn、nx1卷积核代替nxn卷积核）。

Inception V3 https://arxiv.org/pdf/1512.00567.pdf

Inception V3一个最重要的改进是分解（Factorization），将7x7分解成两个一维的卷积（1x7,7x1），3x3也是一样（1x3,3x1），这样的好处，既可以加速计算，又可以将1个卷积拆成2个卷积，使得网络深度进一步增加，增加了网络的非线性（每增加一层都要进行ReLU）。

另外，网络输入从224x224变为了299x299。

Inception V4 https://arxiv.org/pdf/1602.07261.pdf

Inception V4研究了Inception模块与残差连接的结合。ResNet结构大大地加深了网络深度，还极大地提升了训练速度，同时性能也有提升。

ResNet的技术原理参考大佬博客：大话深度残差网络ResNet
https://link.zhihu.com/?target=https%3A//my.oschina.net/u/876354/blog/1622896

Inception V4主要利用残差连接（Residual Connection）来改进V3结构，得到Inception-ResNet-v1，Inception-ResNet-v2，Inception-v4网络。

ResNet的残差结构如下：

将该结构与Inception相结合，变成下图：

通过20个类似的模块组合，Inception-ResNet构建如下：

2.5 SqueezeNet

论文下载传送门 https://arxiv.org/pdf/1602.07360.pdf

2.5.1 简介

最近关于深度卷积神经网络(CNNs)的研究主要集中在提高计算机视觉数据集的准确性上。对于给定的精度级别，通常存在多个CNN架构来达到该精度级别。给定相同的精度，参数较少的CNN架构具有以下几个优点:

更高效的分布式训练:服务器之间的通信是限制分布式CNN训练可扩展性的因素。对于分布式数据并行训练，通信开销与模型中参数的数量成正比。简而言之，小模型训练更快，因为需要更少的通信。
模型导出到客户端的开销更少:将模型从服务器上复制到客户端，这种做法被称为无线更新。典型的CNN/DNN模型的无线更新需要大量的数据传输。更小的模型需要更少的通信，使得频繁的更新更加可行。
FPGA和嵌入式部署更可行:FPGA通常只有不到10mb的片内存储器。足够小的模型可以直接存储在FPGA上，不会被内存带宽所限制。

2.5.2 网络介绍

使用fire module作为网络的基础模块。根据提出的三点策略：1，大量使用1x1卷积代替3x3，因此squeeze部分使用1x1代替3x3，减少参数。2. expand部分，使用s1x1 < e1x1 + e3x3, 这样squeeze layer可以限制输入通道数量，即以上提到的策略二。

SqueezeNet 以conv1开始，然后使用 8个 fire模块，同时可以看出 pooling放在网络的较后部分，保留更大feature，对应策略三。左边第一个是堆叠fire模块的squeezeNet, 后面两个参考了ResNet结构，引入跳层。

2.5.3 创新点

大量使用1x1卷机代替3x3卷积。减少参数和计算量。
使用squeeze层减少输入通道数。
将欠采样操作延后，可以给卷积层提供更大的激活图：更大的激活图保留了更多的信息，可以提供更高的分类准确率 。

2.6 ResNet

论文下载传送门 https://arxiv.org/pdf/1512.03385.pdf

2.6.1简介

经典网络ResNet(Residual Networks)由Kaiming He等人于2015年提出，论文名为《Deep Residual Learning for Image Recognition》。

ResNet要解决的是深度神经网络的”退化(degradation)”问题，即使用浅层直接堆叠成深层网络，不仅难以利用深层网络强大的特征提取能力，而且准确率会下降，这个退化不是由于过拟合引起的。

2.6.2网络结构

ResNet也称为残差网络。ResNet是由残差块(Residual Building Block)构建的，论文截图如下所示：提出了两种映射：identity mapping(恒等映射)，指的是右侧标有x的曲线；residual mapping(残差映射)，残差指的是F(x)部分。最后的输出是F(x)+x。F(x)+x的实现可通过具有”shortcut connections”的前馈神经网络来实现。shortcut connections是跳过一层或多层的连接。图中的”weight layer”指卷积操作。如果网络已经达到最优，继续加深网络，residual mapping将变为0，只剩下identity mapping，这样理论上网络会一直处于最优状态，网络的性能也就不会随着深度增加而降低。

残差块由多个级联的卷积层和一个shortcut connections组成，将二者的输出值累加后，通过ReLU激活层得到残差块的输出。多个残差块可以串联起来，从而实现更深的网络。

残差块有两种设计方式，论文截图如下所示：左图针对较浅的网络，如ResNet-18/34；右图针对较深的网络，又称为”bottleneck” building block，如ResNet-50/101/152，使用此方式的目的就是为了降低参数数目。

论文中给出了5种不同层数的ResNet，论文截图如下所示：可见，ResNet-18/34是进行两层卷积的残差，ResNet-50/101/152是进行三层卷积的残差，分别对应于上图中的残差块的两种设计方式。ResNet-18/34对应的每个残差块的卷积kernel大小依次是33、33，ResNet-50/101/152对应的每个残差块的卷积kernel大小依次是11、33、11。

18、34层等数字是如何计算出来的：以34层为例，1个卷积(conv1)+3残差块2个卷积(conv2_x)+4个残差块2个卷积(conv3_x)+6个残差块2个卷积(conv4_x)+3个残差块*2个卷积(conv5_x)+最后的1个全连接层=34。这里的层仅指卷积层和全连接层，其它类型的层并没有计算在内。

论文中给出了层数为34的ResNet网络结构，论文截图如下所示：左侧为VGG-19网络结构；中间为34层的普通网络结构；在此基础上，在层与层之间加入shortcut connections，就将普通网络转换为对应的ResNet网络，即右侧网络结构。与上表中ResNet-34一致。

右侧ResNet网络，曲线有实线和虚线两种。虚线表示恒等映射x输出的feature map数、width、height与残差F(x)的输出不一致时，x需要进行卷积kernel大小为1*1的运算操作，因为最终F(x)与x要执行”+”操作，即Eltwise操作。GoogLeNet中使用Concat操作。

2.6.3创新点

提出残差学习的思想。传统的卷积网络或者全连接网络在信息传递的时候或多或少会存在信息丢失，损耗等问题，同时还有导致梯度消失或者梯度爆炸，导致很深的网络无法训练。ResNet在一定程度上解决了这个问题，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。ResNet最大的区别在于有很多的旁路将输入直接连接到后面的层，这种结构也被称为shortcut或者skip connections。

2.7 DenseNet

论文下载传送门 https://arxiv.org/pdf/1608.06993.pdf

2.7.1 简介

文章提出的DenseNet（Dense Convolutional Network）主要还是和ResNet及Inception网络做对比，思想上有借鉴，但却是全新的结构，网络结构并不复杂，却非常有效！众所周知，最近一两年卷积神经网络提高效果的方向，要么深（比如ResNet，解决了网络深时候的梯度消失问题）要么宽（比如GoogleNet的Inception），而作者则是从feature入手，通过对feature的极致利用达到更好的效果和更少的参数。

2.7.2 网络结构

Dense Block：像GoogLeNet网络由Inception模块组成、ResNet网络由残差块(Residual Building Block)组成一样，DenseNet网络由Dense Block组成，论文截图如下所示：每个层从前面的所有层获得额外的输入，并将自己的特征映射传递到后续的所有层，使用级联(Concatenation)方式，每一层都在接受来自前几层的”集体知识(collective knowledge)”。增长率(growth rate)是每个层的额外通道数。

Transition Layer(过渡层)：采用11 Conv和22平均池化作为相邻Dense Block之间的转换层，减少feature map数和缩小feature map size，size指width*height。在相邻Dense Block中输出的feature map size是相同的，以便它们能够很容易的连接在一起。

DenseNet-BC：如果Dense Block包含个feature-maps，则Transition Layer生成输出feature maps，其中称为压缩因子。当时，通过Transition Layers的feature-maps数保持不变。当时，称为DenseNet-C，在实验中。当同时使用Bottleneck和的Transition Layers时，称为DenseNet-BC。

特征重用，整体网络示意图

2.7.3 创新点

1）减轻了vanishing-gradient（梯度消失）

2）加强了feature的传递

3）更有效地利用了feature

4）一定程度上较少了参数数量

2.8 MobileNet

论文下载传送门

MobileNetv1 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1704.04861%3Fcontext%3Dcs

MobileNetv2 MobileNetV2: Inverted Residuals and Linear Bottlenecks
https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1801.04381

MobileNetv3 Searching for MobileNetV3
https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1905.02244%3Fcontext%3Dcs

2.8.1 简介

MobileNet 深入的研究了depthwise separable convolutions使用方法后设计出MobileNet，depthwiseseparable convolutions的本质是冗余信息更少的稀疏化表达。在此基础上给出了高效模型设计的两个选择：宽度因子（width multiplier）和分辨率因子（resolutionmultiplier）；通过权衡大小、延迟时间以及精度，来构建规模更小、速度更快的MobileNet。Google团队也通过了多样性的实验证明了MobileNet作为高效基础网络的有效性。

深度可分离卷积（Depthwise Separable Convolution，DSC），DSC包含两部分：depthwise convolution（DWC）+ pointwise convolution（PWC）。DWC对输入的通道进行滤波，其不增加通道的数量，PWC用于将PWC不同的通道进行连接，其可以增加通道的数量。通过这种分解的方式，可以明显的减少计算量。

2.8.2 不同版本

MobileNetv1

目的：在现实场景下，诸如移动设备、嵌入式设备、自动驾驶等等，计算能力会受到限制，所以目标就是构建一个小且快速（small and low latency）的模型。

方法：

提出了MobileNet架构，使用深度可分离卷积（depthwise separable convolutions）替代传统卷积。
在MobileNet网络中还引入了两个收缩超参数（shrinking hyperparameters）：宽度乘子（width multiplier）和分辨率乘子（resolution multiplier）。

网络结构

Depthwise Separable Convolution实质上是将标准卷积分成了两步：depthwise卷积和pointwise卷积，其输入与输出都是相同的。

1）：depthwise卷积：对每个输入通道单独使用一个卷积核处理。（图b）

2）：pointwise卷积：1×1卷积，用于将depthwise卷积的输出组合起来。（图c）

MobileNetv2

V2 主要引入了两个改动：Linear Bottleneck和Inverted Residual Blocks。

Linear Bottlenecks

感兴趣区域在 ReLU 之后保持非零，近似认为是线性变换。
ReLU 能够保持输入信息的完整性，但仅限于输入特征位于输入空间的低维子空间中。
对于低纬度空间处理，论文中把 ReLU 近似为线性转换。

Inverted Residual Blocks

MobileNetV2 结构基于 inverted residual。其本质是一个残差网络设计，传统 Residual block 是 block 的两端 channel 通道数多，中间少，而本文设计的 inverted residual 是 block 的两端 channel 通道数少，block 内 channel 多，类似于沙漏和梭子形态的区别。另外保留 Depthwise Separable Convolutions。

网络对比

相同点

都采用 Depth-wise (DW) 卷积搭配 Point-wise (PW) 卷积的方式来提特征。这两个操作合起来也被称为 Depth-wise Separable Convolution，之前在 Xception 中被广泛使用。这么做的好处是理论上可以成倍的减少卷积层的时间复杂度和空间复杂度。

不同点：Linear Bottleneck

V2 在 DW 卷积之前新加了一个 PW 卷积。这么做的原因，是因为 DW 卷积由于本身的计算特性决定它自己没有改变通道数的能力，上一层给它多少通道，它就只能输出多少通道。所以如果上一层给的通道数本身很少的话，DW 也只能很委屈的在低维空间提特征，因此效果不够好。现在 V2 为了改善这个问题，给每个 DW 之前都配备了一个 PW，专门用来升维，定义升维系数 t = 6，这样不管输入通道数是多是少，经过第一个 PW 升维之后，DW 都是在相对的更高维 进行着辛勤工作的。

V2 去掉了第二个 PW 的激活函数。论文作者称其为 Linear Bottleneck。这么做的原因，是因为作者认为激活函数在高维空间能够有效的增加非线性，而在低维空间时则会破坏特征，不如线性的效果好。由于第二个 PW 的主要功能就是降维，因此按照上面的理论，降维之后就不宜再使用 ReLU6 了。

MobileNetV3

MobileNetV3 是神经架构搜索得到的模型，其内部使用的模块继承自：

MobileNetV1 模型引入的深度可分离卷积（depthwise separable convolutions）；

MobileNetV2 模型引入的具有线性瓶颈的倒残差结构(the inverted residual with linear bottleneck)；

MnasNet 模型引入的基于squeeze and excitation结构的轻量级注意力模型。

在网络结构搜索中，作者结合两种技术：资源受限的NAS（platform-aware NAS）与NetAdapt，前者用于在计算和参数量受限的前提下搜索网络的各个模块，所以称之为模块级的搜索（Block-wise Search） ，后者用于对各个模块确定之后网络层的微调。

2.9 ShuffelNet

论文下载传送门 ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1707.01083

ShuffleNet是Face++的一篇关于降低深度网络计算量的论文，号称是可以在移动设备上运行的深度网络。这篇文章可以和MobileNet、Xception和ResNeXt结合来看，因为有类似的思想。卷积的group操作从AlexNet就已经有了，当时主要是解决模型在双GPU上的训练。ResNeXt借鉴了这种group操作改进了原本的ResNet。MobileNet则是采用了depthwise separable convolution代替传统的卷积操作，在几乎不影响准确率的前提下大大降低计算量。

该文章主要采用channel shuffle、pointwise group convolutions和depthwise separable convolution来修改原来的ResNet单元，接下来依次讲解。

channel shuffle的思想可以看下面的Figure 1。这就要先从group操作说起，一般卷积操作中比如输入feature map的数量是N，该卷积层的filter数量是M，那么M个filter中的每一个filter都要和N个feature map的某个区域做卷积，然后相加作为一个卷积的结果。假设你引入group操作，设group为g，那么N个输入feature map就被分成g个group，M个filter就被分成g个group，然后在做卷积操作的时候，第一个group的M/g个filter中的每一个都和第一个group的N/g个输入feature map做卷积得到结果，第二个group同理，直到最后一个group，如Figure1（a）。不同的颜色代表不同的group，图中有三个group。这种操作可以大大减少计算量，因为你每个filter不再是和输入的全部feature map做卷积，而是和一个group的feature map做卷积。但是如果多个group操作叠加在一起，如Figure1（a）的两个卷积层都有group操作，显然就会产生边界效应，什么意思呢？就是某个输出channel仅仅来自输入channel的一小部分。这样肯定是不行的的，学出来的特征会非常局限。于是就有了channel shuffle来解决这个问题，先看Figure1（b），在进行GConv2之前，对其输入feature map做一个分配，也就是每个group分成几个subgroup，然后将不同group的subgroup作为GConv2的一个group的输入，使得GConv2的每一个group都能卷积输入的所有group的feature map，这和Figure1（c）的channel shuffle的思想是一样的。

pointwise group convolutions，其实就是带group的卷积核为11的卷积，也就是说pointwise convolution是卷积核为11的卷积。在ResNeXt中主要是对33的卷积做group操作，但是在ShuffleNet中，作者是对11的卷积做group的操作，因为作者认为11的卷积操作的计算量不可忽视。可以看Figure2（b）中的第一个11卷积是GConv，表示group convolution。Figure2（a）是ResNet中的bottleneck unit，不过将原来的33 Conv改成33 DWConv，作者的ShuffleNet主要也是在这基础上做改动。首先用带group的11卷积代替原来的11卷积，同时跟一个channel shuffle操作，这个前面也介绍过了。然后是3*3 DWConv表示depthwise separable convolution。depthwise separable convolution可以参考MobileNet，下面贴出depthwise separable convolution的示意图。Figure2（c）添加了一个Average pooling和设置了stride=2，另外原来Resnet最后是一个Add操作，也就是元素值相加，而在（c）中是采用concat的操作，也就是按channel合并，类似googleNet的Inception操作。

下图就是depthwise separable convolution的示意图，其实就是将传统的卷积操作分成两步，假设原来是33的卷积，那么depthwise separable convolution就是先用M个33卷积核一对一卷积输入的M个feature map，不求和，生成M个结果，然后用N个1*1的卷积核正常卷积前面生成的M个结果，求和，最后得到N个结果。

2.10 EfficientNet

论文下载传送门 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks https://link.zhihu.com/?target=https%3A//arxiv.org/abs/1905.11946

模型扩展Model scaling一直以来都是提高卷积神经网络效果的重要方法。一般我们在扩展网络的时候，一般通过调节输入图像的大小、网络的深度和宽度（卷积通道数，也就是channel数）。在EfficientNet之前，没有研究工作只是针对这三个维度中的某一个维度进行调整，因为没钱啊！！有限的计算能力，很少有研究对这三个维度进行综合调整的。

EfficientNet的设想就是能否设计一个标准化的卷积网络扩展方法，既可以实现较高的准确率，又可以充分的节省算力资源。因而问题可以描述成，如何平衡分辨率、深度和宽度这三个维度，来实现拘拿及网络在效率和准确率上的优化。

模型复合缩放方法
compound scaling methd
EfficientNet给出的解决方案是提出了这个模型复合缩放方法

图a是一个基线网络，也就是我们所说的baseline，图b，c，d三个网络分别对该基线网络的宽度、深度、和输入分辨率进行了扩展，而最右边的e图，就是EfficientNet的主要思想，综合宽度、深度和分辨率对网络进行符合扩展。

参考

我的知乎同文 卷积神经网络基础知识二：https://zhuanlan.zhihu.com/p/377963267

https://link.zhihu.com/?target=https%3A//blog.csdn.net/daydayup_668819/article/details/79932548

https://link.zhihu.com/?target=https%3A//blog.csdn.net/liu1073811240/article/details/109703937%3Fops_request_misc%3D%25257B%252522request%25255Fid%252522%25253A%252522162277851216780366572385%252522%25252C%252522scm%252522%25253A%25252220140713.130102334…%252522%25257D%26request_id%3D162277851216780366572385%26biz_id%3D0%26utm_medium%3Ddistribute.pc_search_result.none-task-blog-2_alltop_click~default-7-109703937.first_rank_v2_pc_rank_v29%26utm_term%3D%25E5%258D%25B7%25E7%25A7%25AF%25E7%25A5%259E%25E7%25BB%258F%25E7%25BD%2591%25E7%25BB%259C%26spm%3D1018.2226.3001.4187

https://link.zhihu.com/?target=https%3A//my.oschina.net/u/876354/blog/1637819

https://link.zhihu.com/?target=https%3A//blog.csdn.net/fengbingchun/article/details/114167581

https://link.zhihu.com/?target=https%3A//blog.csdn.net/u014380165/article/details/75137111