DenseNet论文学习笔记

DenseNet论文学习笔记

论文链接：Densely Connected Convolutional Networks

图片来自论文
受残差网络(ResNet)的启发，在较深的网络中使用shortcut来提高模型的准确率，使训练更有效。
原始的CNN网络，包含L个层，则有L个连接，在DenseNet网络中如果包含L个层，则有L×（L+1）/2个连接。
DenseNet网络有以下优点

1. 减缓梯度消失
2. 增强特征传播
3. 特征重复使用
4. 大大减少参数量

在引言中引用提到，已有的方法例如：ResNet、Highway Network、FractalNets在结局梯度消失问题上，都使用了一个关键的方法，将前面的网络层经过short cut,直接连接到后面的层中。
DenseNet沿用了这种连接模式，为保证网络中信息流的最大化,DenseNet直接将所有层连接在一起。

减少参数量

由于每