深度学习之DenseNet个人总结

1. 网络结构

CVPR2017的oral。
DenseNet和ResNet很相似，都可以防止梯度消失，并且都作为一种block可以放在任何网络中。
ResNet 主要是利用skip connection，对两个feature map进行Eltwise add操作，作为下一层的输入。
而DenseNet则是对两个feature map进行concat操作，作为下一层的输入。(可能和图中画的有点出入，图中是将前面所有层的output都进行了concat，也可以尝试)

2. 为什么可以防止梯度消失？

每几层卷积都会拼接input信息，可以对网络的学习起到隐性监督的作用。
不至于因为图像经过一层层的卷积等操作，网络难以优化，从而发生梯度消失。