DenseNet：更接近于真实神经网络的跨层连接

一. 提出背景

       CVPR2017 的 Best Paper，简单大气上档次！

       论文：Densely Connected Convolutional Networks 【点击下载】

       Caffe代码：【Github】

       受 Highway、ResNet 等算法思路的启发，提出一种跨层的连接网络，思路非常简单，直接上图：

        

二. 算法思路

       作者这个提法比较大胆，每个层的 input 包括之前所有层的信息，通过将前面N多个层的 Feature 组合起来，形成对特征更丰富的描述和判别。从思想上来讲，是比较容易接受的，看一个完整的网络结构图：

    

       这个网络包含3个 Dense Block，中间通过 Convolution 和 Pooling 连接。

       但是明显这将带来很大的计算量，我们来看作者是怎么处理的？

       由于每个Layer的输入会比较多，因此可以减少每一层的 Channel 数量，Feature 利用率比较高，整体算下来，同样的连接数量，会比 ResNet 的 Feature 更少，通过实验对比，用一半的计算量达到了 ResNet 的效果。

三. 实验结果

       在CIFAR和SVHN数据集上的错误率：

                 

        和 ResNet 在 参数 和 浮点运算量 进行对比：

        

       给总结吧，根据自己的理解，密集的网络连接更能反映真实的人脑连接情况，更复杂的互联方式也许还在路上，这应该就是留给我们的期待，越来越接近真理！