【paper 1】Densely Connected Convolutional Networks CVPR2017 随笔

第一篇找到了CVPR best paper。

• 参考链接

网络模型--Densely Connected Convolutional Networks

CVPR 2017最佳论文作者解读：DenseNet 的“what”、“why”和“how”｜CVPR 2017

论文笔记：Densely Connected Convolutional Networks(DenseNet模型详解)

【文献阅读】Densely Connected Convolutional Networks-best paper-CVPR-2017 这篇简直宝藏

• 单词

有不认识的单词可太真实了叭，怎么说也是拿过大学生英语竞赛三等奖的人。可能是读英文文献的量太少了

仿佛是机翻的论文叭

alleviate 减轻                                                       

reuse  复用，再用

preceding 领先的

distill 提取

perceptron 感知器

persume 推测

auxiliary 辅助的

lateral 横向的

autoencoder 自编码

augmentaion 增加

impede 阻碍

sufficient 足够的

regulate 调节

replicate 复制

empirically 以经验为主地

• 大意

DenseNet 是一种具有密集连接的卷积神经网络。在该网络中，任何两层之间都有直接的连接，也就是说，网络每一层的输入都是前面所有层输出的并集，而该层所学习的特征图也会被直接传给其后面所有层作为输入。

比如，传统的网络，L层就有L个连接。对于DenseNet，L层有 L(L+1)/2个连接。

DenseNet是由3个DenseBlock组成的

 

DenseBlock长成这样：

这张图上，彩色的方块是特征图啊，不起眼的矩形 BN-ReLU-Conv什么的才是神经网络的层。

If each function H produces k feature-maps as output，We refer to the hyper-parameter k as the growth rate of the network.

把k当成超参数

 

DenseNet就长成了这样

 一个DenseNet有3个Dense Blocks,两个相邻的blocks之间的 卷积、池化层，可以看做是传输层transition layers，用来改变特征图的大小。

为了进一步提升模型的简洁性，我们在 transition layers里 降低特征图数量 

 

全文主线是 information flow，为了更改好的 information flow，那就让information（feature maps）可以到达任意的地方，即Dense connectivity
为了减少模型参数，在dense block里面采用bottleneck layers（看着名字唬人，其实就是1*1*n的一个卷积操作，这个n=4k，把feature maps数量变到4k这么小） 
同时，在dense block 之后还要把feature maps数量减一减，就用了一个叫做compression的操作，其实就是把卷积核的数量设置为feature maps的 θ倍，这样就达到减少feature maps的目的
--------------------- 
作者：TensorSense 
来源：CSDN 
原文：https://blog.csdn.net/u011995719/article/details/76687476 
版权声明：本文为博主原创文章，转载请附上博文链接！

 

• 代码

同时提供的Torch, PyTorch, MxNet 以及 Caffe 的实现，代码参见：

Torch implementation:https://github.com/liuzhuang13/DenseNet/tree/master/models 
PyTorch implementation:https://github.com/gpleiss/efficient_densenet_pytorch 
MxNet implementation:https://github.com/taineleau/efficient_densenet_mxnet 
Caffe implementation:https://github.com/Tongcheng/DN_CaffeScript