resnet与densenet的区别

第一个公式是ResNet的。这里的l表示层,xl表示l层的输出,Hl表示一个非线性变换。所以对于ResNet而言,l层的输出是l-1层的输出加上对l-1层输出的非线性变换

第二个公式是DenseNet的。[x0,x1,…,xl-1]表示将0l-1层的输出feature mapconcatenationconcatenation是做通道的合并,就像Inception那样。而前面resnet是做值的相加,通道数是不变的。Hl包括BNReLU3*3的卷积。l层的输出是0l-1层层的输出的concatenation

所以从这两个公式就能看出DenseNetResNet在本质上的区别,太精辟。

 

你可能感兴趣的:(深度学习)