2016_5wide residual networks

论文大纲

标题：wide residual networks
1introduction
2wide residual networks
2.1type of convolutions in residual block
2.2number of convolutional layers per residual blocks
2.3wide of residual blocks
2.4dropout in residual blocks
3experimentals results
3.1Type of convolutions in a block
3.2Number of convolutions per block
3.3Width of residual blocks
3.4Dropout in residual blocks
3.5ImageNet and COCO experiments
3.6Computational efficiency
3.7Implementation details
4conclusions

主要思想

在2015发表的resnet论文基础上探讨residual block中卷积类型、个数、宽度的影响。重点是宽度，这类的宽度指的是feature map的channels的个数

神经网络结构

神经网络结构

residual block结构

重要的数学公式

重要观点

（1）有别于之后的ResNeXt中的grouped convolutional
（2）对于宽度定义了一个系数k，这个在之后的mobilenet中也有使用，这个相当于是超参数，主要就是用来调节宽度，控制参数的数目。
（3）这是一个实验性质的论文，试验各种卷积核，卷积核的个数，卷积核的channels来得到不同的神经网络结构，这个在之后的神经网络搜索NAS NASNET ENAS DARTs AmoebatNet PNASNET中进一步发展，彻底优化神经网络结构，目的是找到一定约束（参数的数目等）的情况下，准确率最高的结构。

参考文献

[1]: SERGEY ZAGORUYKO AND NIKOS KOMODAKIS: WIDE RESIDUAL NETWORKS

欢迎评论讨论