深度学习各种流行网络简介

ResNet
解决了网络深时候的梯度消失问题。

这里的l表示层，xl表示l层的输出，Hl表示一个非线性变换。所以对于ResNet而言，l层的输出是l-1层的输出加上对l-1层输出的非线性变换。
Inception
GoogleNet
DenseNet
从feature入手，通过对feature的极致利用达到更好的效果和更少的参数
特点：

• 减轻了vanishing-gradient（梯度消失）
• 加强了feature的传递
• 更有效地利用了feature
• 一定程度上较少了参数数量
  
  [x0,x1,…,xl-1]表示将0到l-1层的输出feature map做concatenation。concatenation是做通道的合并，就像Inception那样。而前面resnet是做值的相加，通道数是不变的。Hl包括BN，ReLU和3*3的卷积。

参考：
DenseNet算法详解