Densenet结构

1、特点:特征重用+减少参数量+深层监督

   每一层特征都会作为下面所有层的输入,主要结构称为Denseblock,包括denseblock特征提取和transition融合(降采样)。

   DenseNet打破了通过加深网络层数(ResNet)和加宽网络结构(Inception)来提升网络性能的思维定式,它从特征重用的角度,通过设置旁路,既大幅度地较少了网络的参数量又在一定程度上缓解了gradient vanishing问题的产生,在每个Denseblock中只需要给网络较小的Growth rate就足以实现state-of-art的性能。DenseNet提出时作出的假设是:与其多次学习冗余特征,特征复用是一种更好的特征提取方式
2、DenseNet与传统网络的主要不同点是:它可以接受较少的特征图数作为网络的输入
1、由于DenseNet对输入进行了cat操作,所以每一层产生的feature map都能被之后的所有层利用,使得特征可以在整个网络中重用,也是模型更加简洁
2、网络的每一层不仅接受了原始网络中来自loss的监督,同时由于多次用到bypass和shortcut,网络的监督是多样的,从而实现了Deep supervision,Deep supervision的好处同样已经在DSN中得到了证实

你可能感兴趣的:(深度学习)