论文笔记：CNN经典结构2（WideResNet，FractalNet，DenseNet，ResNeXt，DPN，SENet）

前言

在论文笔记：CNN经典结构1中主要讲了2012-2015年的一些经典CNN结构。本文主要讲解2016-2017年的一些经典CNN结构。
CIFAR和SVHN上，DenseNet-BC优于ResNeXt优于DenseNet优于WRN优于FractalNet优于ResNetv2优于ResNet，具体数据见CIFAR和SVHN在各CNN论文中的结果。ImageNet上，SENet优于DPN优于ResNeXt优于WRN优于ResNet和DenseNet。

WideResNet( WRN )

1. motivation：ResNet的跳连接，导致了只有少量的残差块学到了有用信息，或者大部分残差块只能提供少量的信息。于是作者探索一种新的网络WideResNet（在ResNet的基础上减小深度，增加宽度）。
2. 网络结构：在ResNetv2的基础上改进，增大每个残差块中的卷积核数量。如下两个图所示。其中B(3,3)表示一个两个3x3卷积，k表示一个宽度因子，当k为1时卷积核个数和ResNetv2相等，k越大网络越宽。另外WRN在卷积层之间加入dropout（下一个卷积层之前的bn和relu之后），如下第一个图的图(d)所示（在ResNetv2中把dropout放在恒等映射中实验发现效果不好于是放弃了dropout）。用WRN-n-k来表示一个网络，n表示卷积层的总数，k表示宽度因子。
3. 训练配置：SGD，momentum为0.9，学习率为0.1，权重衰减为0.0005，batch size为128。
4. 实验：在CIFAR，SVHN，COCO数据集上取得了state-of-the-art的结果，同时在ImageNet上也表现优秀（比某些ResNet表现好，并没有超越ResNet的最优结果）。作者根据实验结果认为ResNet的主要能力来自于残差块，而深度的效果只是一个补充。

FractalNet

1. motivation：WideResNet通过加宽ResNet得到state-of-the-art的表现，推测ResNet的主要能力来自于残差块，深度不是必要的。相比之下，分形网络则是直接认为ResNet中的残差结构也不是必要的，网络的路径长度（有效的梯度传播路径）才是训练深度网络的基本组建。
2. 网络结构：如下图所示，分形网络是通过不同长度的子路经组合，让网络自身选择合适的子路经集合，另外分形网络还提出了drop paht的方法。其中local drop就是join模块以一定概率drop每个输入，但至少留下一个。global drop就是对整个网络只留下一列。
3. 实验