CV经典网络DenseNet的学习

论文：Densely Connected Convolutional Networks
代码链接：Dense Net
MXNet版本代码（有ImageNet预训练模型）

DenseNet的优点：
1、减轻了vanishing-gradient（梯度消失）
2、加强了feature的传递
3、更有效地利用了feature
4、一定程度上较少了参数数量

--------------------------- dense block结构图 ---------------------------

在传统的卷积神经网络中，如果你有L层，那么就会有L个连接，但是在DenseNet中，会有L(L+1)/2个连接。简单讲，就是每一层的输入来自前面所有层的输出。

Figure 1是dense block结构图，Figure 2是DenseNet的结构图，这个结构图中包含了3个dense block。

将DenseNet分成多个dense block，是希望各个dense block内特征映射的尺寸统一，以至于concatenation没有尺寸问题。

transition layer，放在两个Dense Block中间，是因为每个Dense Block结束后的输出channel个数很多，需要用1*1的卷积核来降维。
因此这个transition layer有个参数reduction（范围是0到1），表示将这些输出缩小到原来的多少倍，默认是0.5，这样传给下一个Dense Block的时候channel数量就会减少一半，这就是transition layer的作用。

总结：

DenseNet核心思想在于建立了不同层之间的连接关系，充分利用了feature，进一步减轻了梯度消失问题，加深网络，训练效果非常好。