【论文阅读笔记】从ResNet到ResNeXt

论文地址

ResNet ：https://arxiv.org/pdf/1512.03385.pdf
ResNeXt： https://arxiv.org/abs/1611.05431

ResNet基本思想

在训练深层网络时，一般会遇到三个问题：

1. 过拟合。这一点其实很好理解，因为训练的损失函数是训练集上的loss，当训练数据比较少，网络参数比较多的时候很容易为了减小训练集loss而过拟合。但过拟合问题不在本文的讨论范围之内，这里不做赘述。
2. 梯度消失/爆炸。我们考虑一个简单的三层网络，$f(x)$为激活函数，$x$为输入，$f_i(x)$表示第$i$层输出结果。那么首先，显然有$$\begin{gathered} f_{i+1}=f({\omega }_i\cdot f_i+b) \\ \partial f_{i+1}={\omega }_i\cdot \partial f_i\cdot f^{{}^{\prime }} \end{gathered}$$这里不妨令$b=0$，那么根据梯度下降的原理，我们会对参数$\omega$进行更新:$${\omega }_i:={\omega }_i-\alpha \cdot \frac{\partial L}{\partial {\omega }_i}$$以${\omega }_1$为例，由链式法则我们有$$\begin{array}{rl}\frac{\partial L}{\partial {\omega }_1}& =\frac{\partial L}{\partial f_3}\cdot \frac{\partial f_3}{\partial f_2}\cdot \frac{\partial f_2}{\partial f_1}\cdot \frac{\partial f_1}{\partial {\omega }_1}\\ & =\frac{\partial L}{\partial f_3}\cdot \frac{\partial f_3}{\partial f_2\cdot {\omega }_3}\cdot {\omega }_3\cdot \frac{\partial f_2}{\partial f_1\cdot {\omega }_2}\cdot {\omega }_2\cdot \frac{\partial f_1}{\partial {\omega }_{1}x}\cdot x\\ & =\frac{\partial L}{\partial f_3}\cdot f_2^{{}^{\prime }}\cdot f_1^{{}^{\prime }}\cdot f_0^{{}^{\prime }}\cdot {\omega }_3\cdot {\omega }_2\cdot x\end{array}$$
   可以看到，最终反向传播的梯度主要由激活函数各节点处的导数$f_i^{{}^{\prime }}$和权重系数${\omega }_i$的连乘组成。因此，当网络层数很深，梯度就会因为这些连乘指数型增长/下降，从而导致梯度爆炸/消失。但是，这一问题已经在很多方面得到了一定解决，就拿激活函数来说，如果用ReLU作为激活函数，在大于0的部分导数恒为1，那么至少在激活函数导数连乘这一部分上就不会有很大的值；同时，ResNet的论文中也提到，批归一化(BatchNorm)也很大程度上解决了梯度爆炸/消失的问题，因为在反向传播的过程中，BN中的$\sigma$项对权重系数作了一定的放缩，解决了权重部分的梯度爆炸/消失。
3. 网络退化。这也是ResNet作者认为主要想解决的一个问题。论文中首先在同一数据集下做了一组关于网络层数的对照试验:
   发现当网络层数增加后，训练集和测试集上的loss反而增加了，这在当时是很反直觉的。因为对于56层的网络，你只要让后36层都是恒等映射至少也可以达到和20层网络一样的效果，为什么效果反而会变差呢？但实际上，由于非线性激活函数的存在，想要令其成为恒等映射是几乎不可能的，那也就是说，一旦特征经过了试图成为恒等映射的层，都会对特征的信息进行一定损耗，从而导致深层的网络效果变差。

在知道上述问题后，作者给出了十分经典的Residual Block来解决退化问题：

从我们的直观理解上，Res模块最主要的一个操作就是他的一个跳跃连接，让输入进入两个分支，分支A如同其他层一样进行特征提取，分支B直接让原始输入与提取后的特征相加。这样一来，网络只要令$F(x)=0$就可以令Res模块达到恒等映射的效果。而这里的相加操作，本质上因为卷积是保加法的线性映射，等同于在后续层中用相同的卷积核参数对两个相加的特征进行操作。
作者在后文中使用Res模块设计了各种层数的ResNet网络（如下图），并对其效果进行测试。

其中，ResNet34和ResNet50的残差模块的数量一致，但是结构不同，ResNet50使用$n$个$1\times 1$的卷积核接$n$个$3\times 3$的卷积核再接上$4n$个$1\times 1$的卷积核替代两个级联的$n$个$3\times 3$的卷积核。从结果上来看，ResNet50的表现优于ResNet34；从参数量上来看，我们不妨假设输入维数相同并忽略，则ResNet34中一个残差模块的参数量为$(3\times 3\times n)\times 2=18n$，ResNet50中一个残差模块的参数量为$(1\times 1\times n+3\times 3\times n+1\times 1\times 4n)=14n$。那为什么ResNet50的总参数量反而更高一点呢？实际上是因为在跳跃链接(ShortCut)时，有些层会遇到维数不对应的情况，这里的解决办法是通过$1\times 1$的卷积核扩增维数或是补0，因此由于残差模块的最后将通道数翻了四倍，ResNet50跳跃连接所需的参数量增加了很多，导致ResNet50总参数量比ResNet34略高一点。

ResNeXt基本思想

ResNeXt用分组的思想对ResNet(50)的残差模块进行了改进，如下图所示:

可以看到，ResNext50中将通道数翻倍，但是将卷积拆分成了32组，这样一来，我们不妨假设输入的长宽相同并忽略，那么图中模块的参数量可以计算为$(256\times 1\times 1\times 4)\times 32+(4\times 3\times 3\times 4)\times 32+(4\times 1\times 1\times 256)\times 32=53760$，而ResNet50中模块的参数量可计算为$(256\times 1\times 1\times 64)+(64\times 3\times 3\times 64)+(64\times 1\times 1\times 256)=69632$。因此可以看到下图中ResNeXt的参数量是比ResNet50的还要小的

同时，论文中还给出了ResNeXt残差模块的几种等价形式(如下图)

作者在提到，这三种结构是严格等价的，论文中实验采用的是第三种，因为运行的效率比较高。我们可以看到，第三种结构也说明了ResNeXt对于ResNet本质上的改进，实际就是通过中间的分组卷积减少了计算量，使得相比于ResNet通道数翻倍的情况下，计算量反而更小。同时，按照我的理解，分组卷积还能起到一定正则的作用，因为如果不对特征通道进行分组，全部的参数都用于训练一种过滤方式，如果参数过多而能提取到的特征又不够复杂的话很容易过拟合我。而进行分组之后，每个group希望学习到不同的特征（这一点在alexnet的实验中有印证），而对于每个group来说，参数量又比较小，不容易过拟合，因此才会有论文中分组数越多结果表现越好的情况，我个人认为是本身参数量对于实验的数据集就已经足够了，分组起到了一定的正则作用。