CNN 常用的几个模型

二、经典网络结构

A、LeNet5（1986）

由两个卷积层，两个池化层，以及两个全连接层组成。 卷积都是5*5的模板，stride=1，池化都是MAX。

详细阅读：https://my.oschina.net/u/876354/blog/1632862

B、AlexNet （2012）

首先它证明了CNN在复杂模型下的有效性，然后GPU实现使得训练在可接受的时间范围内得到结果，确实让CNN和GPU都大火了一把，顺便推动了有监督DL的发展。

模型八层（不算input层），但是它有60M以上的参数总量，事实上在参数量上比后面的网络都大。AlexNet包含了八个学习层——5个卷积层和3个全连接层。

 

AlexNet之所以能够成功，跟这个模型设计的特点有关，主要有：

a、使用了非线性激活函数：ReLU

b、防止过拟合的方法：Dropout，数据扩充（Data augmentation）

c、其他：多GPU实现，LRN归一化层的使用

局部响应归一化层，LocalResponse Normalization（LRN），侧抑制。也有助于提高泛化能力。核心思想是利用临近数据做归一化。

 

详细阅读：https://my.oschina.net/u/876354/blog/1633143