神经网络基础模型VGG、GoogLeNet（inception）、ResNet、dense Net、SqueezeNet、Xception的网络结构

?（1409.CVPR）VGG【论文原文】

以下：GoogLeNet: inception V1、V2、V3、V4 、Inception-ResNet V1、V2：【详解参考】

?（1409.CVPR） inception V1：Going Deeper with Convolutions【 论文原文】

上图所示：GoogLeNet有 9 个线性堆叠的 Inception 模块。它有 22 层（包括池化层的话是 27 层）。该模型在最后一个 inception 模块处使用全局平均池化。引入了两个辅助分类器（上图紫色框）。它们对其中两个 Inception 模块的输出执行 softmax 操作，然后在同样的标签上计算辅助损失。总损失即辅助损失和真实损失的加权和。该论文中对每个辅助损失使用的权重值是 0.3。（只在训练过程中用）

?（1512.CVPR） inception V2、V3：Rethinking the Inception Architecture for Computer Vision【 论文原文】

inception V2

inception V3

• Inception Net v3 整合了前面 Inception v2 中提到的所有升级，还使用了：
• RMSProp 优化器；
• Factorized 7x7 卷积；
• 辅助分类器使用了 BatchNorm；
• 标签平滑（添加到损失公式的一种正则化项，旨在阻止网络对某一类别过分自信，即阻止过拟合）。

?（1602.CVPR） inception V4、Inception-ResNet：Inception-ResNet and the Impact of Residual Connections on Learning【 论文原文】

Inception V4和Inception-ResNet总体框架：

• 由stem、inception、reduction block三个模块堆积木一样组合而成。

Inception v4 和 Inception-ResNet 的网络完整架构如下所示：

上图：左部是 Inception v4 的架构。右部是 Inception-ResNet 的架构

一、stem：

上图：图左部是 Inception-ResNet v1 的 stem。图右部是 Inception v4 和 Inception-ResNet v2 的 stem

1.1、inception V4的Inception模块，称为 A、B 和 C

上图：（左起）在 Inception v4 中使用的 Inception 模块 A、B、C

1.2、inception V4的reduction block模块，称为 A、B

上图：缩减块 A（从 35x35 到 17x17 的尺寸缩减）和缩减块 B（从 17x17 到 8x8 的尺寸缩减）。

Inception-ResNet V1、V2:

2.1、Inception-ResNet V1的Inception模块，称为 A、B 、C

上图：（左起）Inception ResNet 中的 Inception 模块 A、B、C。

1.2、Inception ResNet的reduction block模块，称为 A、B 。

?（1512.CVPR） ResNet：Deep Residual Learning for Image Recognition【 论文原文】

?（16.02.CVPR） SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size【 论文原文】

?（16.08.CVPR） DenseNet: Densely Connected Convolutional Networks【 论文原文】

?（16.10.CVPR） Xception: Deep Learning with Depthwise Separable Convolutions【 论文原文】

Xception 的框架结构基于 ResNet，但是将其中的卷积层换成了Separable Convolution