1.视频网站:mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文):http://www.ai-start.com/dl2017/
3.github课件+作业+答案:https://github.com/stormstone/deeplearning.ai
在前面课程中,你已经见到了所有的Inception网络基础模块。在本节课中,我们将学习如何将这些模块组合起来,构筑你自己的Inception网络。
如上图,Inception模块会将之前层的激活或者输出作为它的输入。假设有一个28×28×192的输入,和我们之前课程中的一样。我们详细分析过的例子是,先通过一个1×1的层,再通过一个5×5的层,1×1的层可能有16个通道,而5×5的层输出为28×28×32,共32个通道,这就是上节课最后讲到的我们处理的例子。
为了在上图这个3×3的卷积层中节省运算量,你也可以做相同的操作,这样的话3×3的层将会输出28×28×128。
如上图,或许你还想将其直接通过一个1×1的卷积层,这时就不必在后面再跟一个1×1的层了,这样的话过程就只有一步,假设这个层的输出是28×28×64。
最后是池化层。这里我们要做些有趣的事情,为了能在最后将这些输出都连接起来,我们会使用same类型的padding来池化,使得输出的高和宽依然是28×28,这样才能将它与其他输出连接起来。
但是请注意,如果你进行了最大池化,即便用了same padding,3×3的过滤器,stride为1,其输出将会是28×28×192( n + 2 p − f s + 1 = 28 + 2 − 3 1 + 1 = 28 \frac{n+2p−f}s+1=\frac{28+2-3}1+1=28 sn+2p−f+1=128+2−3+1=28),其通道数或者说深度与输入(通道数)相同。
所以看起来它会有很多通道,我们要做的就是在它后面再加上一个1×1的卷积层,去进行我们在1×1卷积层的课程里所介绍的操作,将通道的数量缩小,缩小到28×28×32。也就是使用32个维度为1×1×192的过滤器,所以输出的维度其通道数缩小为32。这样就避免了最后输出时,池化层占据所有的通道。
最后,将这些方块全都连接起来。
在这过程中,把得到的各个层的通道都加起来,最后得到一个28×28×256的输出(64+128+32+32)。通道连接实际就是之前课程中看到过的,把所有方块连接在一起的操作。这就是一个Inception模块,而Inception网络所做的就是将这些模块都组合到一起。
如上图,这是一张取自Szegety et al的论文中关于Inception网络的图片。你会发现图中有许多重复的模块,可能整张图看上去很复杂,但如果你只截取其中一个环节(图中编号1),就会发现这是在上文介绍中所见的Inception模块。
我们深入看看里边的一些细节。
所以Inception网络只是很多这些你学过的模块在不同的位置重复组成的网络。如果你理解了之前所学的Inception模块,你就也能理解Inception网络。
事实上,如果你读过论文的原文,你就会发现,这里其实还有一些分支,我现在把它们加上去。
这些分支有什么用呢?
你应该把这些分支看做Inception网络的一个细节,它确保了即便是隐藏单元和中间层(编号5)也参与了特征计算,它们也能预测图片的分类。它在Inception网络中,起到一种调整的效果,并且能防止网络发生过拟合。
这个特别的Inception网络是由Google公司的作者所研发的,它被叫做GoogleLeNet,这个名字是为了向LeNet网络致敬。在之前的课程中你应该了解了LeNet网络。我觉得这样非常好,因为DL社区人员(community)是如此重视协作,对DL社区中彼此的工作成果有一种强烈的敬意。
最后,有个有趣的事实,Inception网络这个名字又是缘何而来呢?
Inception的论文特地提到了这个模因(meme,网络用语即“梗”),就是“我们需要走的更深”(We need to go deeper)。论文还引用了这个网址(http://knowyourmeme.com/memes/we-need-to-go-deeper),连接到这幅图片上。如果你看过Inception(盗梦空间)这个电影,你应该能看懂这个由来。
作者其实是通过它来表明了建立更深的NN的决心,他们正是这样构建了Inception。我想一般研究论文,通常不会引用网络流行模因(梗),但这里显然很合适。
最后总结一下,如果你理解了Inception模块,你就能理解Inception网络,无非是很多个Inception模块一环接一环,最后组成了网络。
自从Inception模块诞生以来,经过研究者们的不断发展,衍生了许多新的版本。所以在你们看一些比较新的Inception算法的论文时,会发现人们使用这些新版本的算法效果也一样很好,比如Inception V2、V3以及V4,还有一个版本引入了跳跃连接的方法,有时也会有特别好的效果。
但所有的这些变体都建立在同一种基础的思想上,在之前的课程中你就已经学到过,就是把许多Inception模块通过某种方式连接到一起。通过这个视频,我想你应该能去阅读和理解这些Inception的论文,甚至是一些新版本的论文。