卷积神经网络Densenet的分析与总结

1 简介

       最近的研究表明，如果卷积神经网络中靠近输入和输出层之间存在短链接，那么网络可以更深、更精确，并且能够更有效的进行训练。我们接受这一观察并且提出密集卷积神经网络，该网络以前馈方式将每层连接到每个其他层。具有L层的传统的卷积神经网络，其有L个连接，当前层只与下一层有一个连接；而我们提出的DenseNet，其具有L(L+1)/2个连接，当前层与后边的每一层都有一个连接。对于每一层，前边所有层的特征图被用作输入，并且它自己产生的特征图被用作后边每个层的输入。DenseNet有几个引人注目的优点：可以缓解梯度消失的问题，加强特征传播，鼓励特征重用以及大幅减少参数数量。(DenseNets have several compelling advantages: they alleviate thevanishing-gradient problem, strengthen feature propagation, encourage featurereuse, and substantially reduce the number of parameters.)

2 模型结构

       为了保证最大的信息在网络层与层之间的流动，我们将所有层直接相互连接，每一层将前边所有层的输出作为自身的输入，同时将自身的输出特征图传递到后续的所有图层中。

       我们直观来看的话，DenseNet应该存在大量的参数，但是实际上其具有较小的参数数量，因为不需要重新学习冗余特征图。DenseNet的另一优势是其提高了信息和梯度在网络中的流动，所以DenseNet容易训练。因为每一层都可以直接从损失函数出获取梯度值，并且每一层都可以从输入端获取输入信号。

3 网络结构

       如果特征图的尺寸改变的话，就不能进行拼接操作了。池化层是卷积神经网络中的重要部分，使用池化层后必然会改变特征图的尺寸，所以我们将网络分成了多个密集连接的密集块(Dense Block)，如下图所示：

我们把两个Dense Block之间的层称为过渡层(transition layers),包含卷积层和池化层，实际上有BN—1*1卷积—2*2平均池化。

4 总结

       1. Densenet与Resnet的区别在于：Resnet是对应通道内的像素做加法运算，而Densenet是对各个通道做拼接。

       2. Densenet的提出是由于发现网络中如果存在短连接的话，能够更方便的训练，并且网络会更深、更有效，其特点是缓解梯度消失、加强特征传播、鼓励特征重用和大幅减小参数数量。

       3. Dense Block由BN-Relu-Conv(1*1)-BN-Relu-Conv(3*3)组成，Transition layer由1*1 Conv-2*2平均池化(stride=2)构成。