经典网络结构

参考：《解析深度学习——卷积神经网络原理与视觉实践》

网址：http://lamda.nju.edu.cn/weixs/book/CNN_book.pdf

一、VGG

特点：

（1）使用小卷积核和“保持输入大小"等技巧，目的在增加网络深度（复杂度）时各层输入大小随深度增加而不极具减小。

（2）通道数也逐渐在增加。

二、NIN

特点：

（1）NIN采用了复杂度更高的多层感知机作为层间映射形式,一方面提供了网络层间映射的一种新可能;另一方面增加了网络卷积层的非线性能力,使得上层特征可有更多复杂性与可能性的映射到下层,这样的想法也被后期出现的残差网络 和Inception等网络模型所借鉴。

（2）用全局汇合操作（global average poolig）代替全连接层（分类层）。

三、残差网络（高速公路网络的简化，将变换门和携带门用近路连接代替，即直接用恒等映射代替非线性变换。近路连接使梯度信息可以在多个神经网络层之间有效传递。）

权重初始化策略和批规范化极大改善梯度爆炸或梯度消失的问题（由网络深度引起的）。

（1）普通残差模块与瓶颈残差模块

（2）高速公路网络的简化，将变换门和携带门用近路连接代替，即直接用恒等映射代替非线性变换。近路连接使梯度信息可以在多个神经网络层之间有效传递。

（3）也用到了全局汇合操作（global average poolig）代替全连接层