深度学习入门笔记之DenseNet网络

论文：Densely Connected Convolutional Networks
论文链接：https://arxiv.org/pdf/1608.06993.pdf
代码的github链接：https://github.com/liuzhuang13/DenseNet
MXNet版本代码（有ImageNet预训练模型）: https://github.com/miraclewkf/DenseNet

设计理念

相比ResNet，DenseNet提出了一个更激进的密集连接机制：即互相连接所有的层，具体来说就是每个层都会接受其前面所有层作为其额外的输入。图1为ResNet网络的短路连接机制（其中+代表的是元素级相加操作），作为对比，图2为DenseNet网络的密集连接机制（其中c代表的是channel级连接操作）。可以看到，ResNet是每个层与前面的某层（一般是2~3层）短路连接在一起，连接方式是通过元素级相加。而在DenseNet中，每个层都会与前面所有层在channel维度上连接（concat）在一起（这里各个层的特征图大小是相同的，后面会有说明），并作为下一层的输入。对于一个$L$层的网络，DenseNet共包含$\frac{L(L+1)}{2}$个连接，相比ResNet，这是一种密集连接。而且DenseNet是直接concat来自不同层的特征图，这可以实现特征重用，提升效率，这一特点是DenseNet与ResNet最主要的区别。


如果用公式表示的话，传统的网络在$l$层的输出为：
$x_l=H_l(x_{l-1})$
而对于ResNet，增加了来自上一层输入的identity函数：
$x_l=H_l(x_{l-1})+x_{l-1}$
在DenseNet中，会连接前面所有层作为输入：
$x_l=H_l([x_0,x_1,...,x_{l-1}])$
其中，上面的$H_l(\cdot )$代表是非线性转化函数（non-linear transformation），它是一个组合操作，其可能包括一系列的BN(Batch Normalization)，ReLU，Pooling及Conv操作。注意这里$l$层与$l-1$层之间可能实际上包含多个卷积层。

DenseNet的前向过程如图3所示，可以更直观地理解其密集连接方式，比如$h_3$ 的输入不仅包括来自$h_2$ 的$x_2$ ，还包括前面两层的$x_1$ 和$x_2 ，它们是在channel维度上连接在一起的。

CNN网络一般要经过Pooling或者stride>1的Conv来降低特征图的大小，而DenseNet的密集连接方式需要特征图大小保持一致。为了解决这个问题，DenseNet网络中使用DenseBlock+Transition的结构，其中DenseBlock是包含很多层的模块，每个层的特征图大小相同，层与层之间采用密集连接方式。而Transition模块是连接两个相邻的DenseBlock，并且通过Pooling使特征图大小降低。图4给出了DenseNet的网路结构，它共包含4个DenseBlock，各个DenseBlock之间通过Transition连接在一起。

DenseNet优势

（1）解决了深层网络的梯度消失问题；
（2）加强了特征的传播 ；
（3）鼓励特征重用；
（4）减少了模型参数。

DenseNet的网络基本结构图

主要包含DenseBlock和transition layer两个组成模块。其中Dense Block为稠密连接的highway的模块，transition layer为相邻2个Dense Block中的那部分。

Dense Block模块

参考资料

DenseNet：比ResNet更优的CNN模型
DenseNet算法详解