2020-8-25 吴恩达DL学习-C4 卷积神经网络-第二周 CNN实例探究(2.7Inception 网络)

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

2.7 Inception 网络

在前面课程中，你已经见到了所有的Inception网络基础模块。在本节课中，我们将学习如何将这些模块组合起来，构筑你自己的Inception网络。

如上图，Inception模块会将之前层的激活或者输出作为它的输入。假设有一个28×28×192的输入，和我们之前课程中的一样。我们详细分析过的例子是，先通过一个1×1的层，再通过一个5×5的层，1×1的层可能有16个通道，而5×5的层输出为28×28×32，共32个通道，这就是上节课最后讲到的我们处理的例子。

为了在上图这个3×3的卷积层中节省运算量，你也可以做相同的操作，这样的话3×3的层将会输出28×28×128。

如上图，或许你还想将其直接通过一个1×1的卷积层，这时就不必在后面再跟一个1×1的层了，这样的话过程就只有一步，假设这个层的输出是28×28×64。

最后是池化层。这里我们要做些有趣的事情，为了能在最后将这些输出都连接起来，我们会使用same类型的padding来池化，使得输出的高和宽依然是28×28，这样才能将它与其他输出连接起来。

但是请注意，如果你进行了最大池化，即便用了same padding，3×3的过滤器，stride为1，其输出将会是28×28×192（$\frac{n+2p-f}{s}+1=\frac{28+2-3}{1}+1=28$），其通道数或者说深度与输入（通道数）相同。

所以看起来它会有很多通道，我们要做的就是在它后面再加上一个1×1的卷积层，去进行我们在1×1卷积层的课程里所介绍的操作，将通道的数量缩小，缩小到28×28×32。也就是使用32个维度为1×1×192的过滤器，所以输出的维度其通道数缩小为32。这样就避免了最后输出时，池化层占据所有的通道。

最后，将这些方块全都连接起来。
在这过程中，把得到的各个层的通道都加起来，最后得到一个28×28×256的输出（64+128+32+32）。通道连接实际就是之前课程中看到过的，把所有方块连接在一起的操作。这就是一个Inception模块，而Inception网络所做的就是将这些模块都组合到一起。

如上图，这是一张取自Szegety et al的论文中关于Inception网络的图片。你会发现图中有许多重复的模块，可能整张图看上去很复杂，但如果你只截取其中一个环节（图中编号1），就会发现这是在上文介绍中所见的Inception模块。

我们深入看看里边的一些细节。

• 图中编号2，编号3，编号4，编号5是另4个Inception模块。
• 图中编号6和编号7有一些额外的最大池化层来修改高和宽的维度。

所以Inception网络只是很多这些你学过的模块在不同的位置重复组成的网络。如果你理解了之前所学的Inception模块，你就也能理解Inception网络。

事实上，如果你读过论文的原文，你就会发现，这里其实还有一些分支，我现在把它们加上去。

这些分支有什么用呢？

• 在网络的最后几层，通常称为全连接层，在它之后是一个softmax层（编号1）来做出预测
• 编号2分支所做的就是通过隐藏层（编号3）来做出预测，所以编号2其实是一个softmax输出。
• 编号4是另一条分支，它也包含了一个隐藏层，通过一些全连接层，然后有一个softmax来预测，输出结果的标签。

你应该把这些分支看做Inception网络的一个细节，它确保了即便是隐藏单元和中间层（编号5）也参与了特征计算，它们也能预测图片的分类。它在Inception网络中，起到一种调整的效果，并且能防止网络发生过拟合。

这个特别的Inception网络是由Google公司的作者所研发的，它被叫做GoogleLeNet，这个名字是为了向LeNet网络致敬。在之前的课程中你应该了解了LeNet网络。我觉得这样非常好，因为DL社区人员(community)是如此重视协作，对DL社区中彼此的工作成果有一种强烈的敬意。

最后，有个有趣的事实，Inception网络这个名字又是缘何而来呢？

Inception的论文特地提到了这个模因（meme，网络用语即“梗”），就是“我们需要走的更深”（We need to go deeper）。论文还引用了这个网址（http://knowyourmeme.com/memes/we-need-to-go-deeper），连接到这幅图片上。如果你看过Inception（盗梦空间）这个电影，你应该能看懂这个由来。

作者其实是通过它来表明了建立更深的NN的决心，他们正是这样构建了Inception。我想一般研究论文，通常不会引用网络流行模因（梗），但这里显然很合适。

最后总结一下，如果你理解了Inception模块，你就能理解Inception网络，无非是很多个Inception模块一环接一环，最后组成了网络。

自从Inception模块诞生以来，经过研究者们的不断发展，衍生了许多新的版本。所以在你们看一些比较新的Inception算法的论文时，会发现人们使用这些新版本的算法效果也一样很好，比如Inception V2、V3以及V4，还有一个版本引入了跳跃连接的方法，有时也会有特别好的效果。

但所有的这些变体都建立在同一种基础的思想上，在之前的课程中你就已经学到过，就是把许多Inception模块通过某种方式连接到一起。通过这个视频，我想你应该能去阅读和理解这些Inception的论文，甚至是一些新版本的论文。