【论文学习记录】Densely Connected Convolutional Networks

DenseNet是CVPR 2017的文章，论文原文《Densely Connected Convolutional Networks》。

在深度神经网络中，随着网络深度的加深，梯度消失问题越来越明显。论文作者为了解决这个问题，直接将所有层连接起来。DenseNet 是一种具有密集连接的卷积神经网络。在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。

即每一层的输入来自前面所有层的输出。L层的网络有L*(L+1)/2个连接。

DenseNet网络更窄，参数更少。

ResNet通过identity function来解决深层网络梯度消失问题。

而DenseNet则是通过直连前面所有层的输出。

其中H(.)表示的三个连续的操作：batch normalization（BN），rectified linear unit（ReLU）和3x3 convolution（Conv）。

正是因为这种密集连接的结构，才能把网络设计的非常窄，否则容易出现欠拟合现象。

作者将DenseNet分成多个dense block，原因是希望各个dense block内的feature map的size统一，这样在做concatenation就不会有size的问题。

 dense block的3*3卷积前面都包含了一个1*1的卷积操作，就是所谓的bottleneck layer，目的是减少输入的feature map数量，既能降维减少计算量，又能融合各个通道的特征。作者为了进一步压缩参数，在每两个dense block之间又增加了1*1的卷积操作。

 这里的k表示每个H(.)会产生的feature maps的数量，第l层就有k0+kx(l-1)个输入的feature maps，其中k0是输入层的通道数。