【深度学习】LeNet-5、AlexNet、VGG16、GoogLeNet、ResNet

有多少层并不把池化层算在内。

## LeNet-5：结构 C-P-C-P-FC-FC，即  卷积1 - 池化 - 卷积2 - 池化 - 全连接1 - 全连接2 - softmax输出层

                                                        

## AlexNet：结构5个卷积层，3个全连接层，共八层，6千万参数（即60M个参数）

                                       

## VGG16：     1亿个参数（即138M个参数）

                                    

                          

 

## GoogLeNet：22层，500万个参数，参数比AlexNet少12倍，采用inception模块，无全连接层

                                   

                                 

 

## ResNet：152层，另外还有34层、50层，101层等结构。只有在第一层用的是7*7的卷积核，后面所有层都是用3*3的卷积核。       

                             

 

## Densenet  CVPR2017

DenseNet和ResNet的一个明显区别是，ResNet是求和，而DenseNet是做一个拼接，每一层网络的输入包括前面所有层网络的输出。

DenseNet提升了信息和梯度在网络中的传输效率，每层都能直接从损失函数拿到梯度，并且直接得到输入信号，这样就能训练更深的网络，这种网络结构还有正则化的效果。其他网络致力于从深度和宽度来提升网络性能，DenseNet致力于从特征重用的角度来提升网络性能