Inception-v4,Inception-ResNet and the Impact of Residual Connections on Learning

作者：18届 cyl

时期：2021-08-08

论文：Inception-v4,Inception-ResNet and the Impact of Residual Connections on Learning

期刊：CVPR

一、写在前面的话：若有差错，欢迎指正。

背景知识区：
1、Inception v1的论文中提出了：既利用卷积网络的稀疏性又有聚类效果的网络是比较理想的网络。 而作者使用inception module的不同大小的并行卷积核来希望实现该效果。虽然从结果来看确实取得了不错的的效果。但是正确率提升的真正原因仍然需要进一步研究。
2、v1 v2 v3 v4都在原有的基础上小修小补，正确率都有不错提升。（我个人观点：这些改进全都回避了v1论文中提出的探求正确率提升的真正原因这个问题，转而去选择局部策略和调参）
3、Tensorflow的出现对于加快神经网络训练速度有的超大幅的提升。这一点冲击了原来的所有神经网络都会考虑的速度问题，让减少计算量的考虑稍微后退（当然仍然很重要）。
4、v4中的模块其实仅仅是在v3的模块基础上改了一点点。但是v4是一个更深的模型，里面的模块数量增加了。而在当时残差网络仿佛洗脑一般，让很多研究者认为残差在深层网络中时必须的，在论文中作者讨论了这个问题，通过v4也是一个深层网络却没有用残差连接，依然得到了不错的正确率，所以残差并不是必备条件，但是作者同时用v4与inception-resNet对比证明了，残差在提高训练速度有非常好的效果。
5、我个人认为：这一篇论文略读即可，毕竟没有提出一个很新奇结构。

二、Inception v4 的结构

1、整体结构（建议与 v2、3的结构对比看着）

上图为v4

下图为v3

2、其中的stem模块对应的v3中的最前面的卷积层
stem:
都是先连续几个卷积层再来一个池化层，只不过stem中稍稍复杂了一点点。
3、Inception A 模块（与v3中的inception A模块完全一样，只不过个数变成了4个）

4、Inception B 模块（与v3中的类似，都是非对称卷积但是模块数量变成了5个，而且是7*7模块的非对称卷积，提取的特征要大一点）

5、Inception-C模块（拓展滤波器组，与v3的几乎一样就是将原来的33拆成了13与3*1）


6、redution-A模块（与v3一模一样）


7、redution-B模块（有了稍许改变，但是优化考虑与v3相同，都是用卷积核与池化并行操作，来保证计算量不爆炸、信息不过分丢失）

二、Inception-ResNet-v1的结构(这里的写的v1并不是说这个是在Inception-v1的基础上加入残差，而是Inception-ResNet的第一种模型)

1、Inception-ResNet-v1整体网络结构（值得注意的是，尽管层数比Inception v3深很多，但是计算量与v3近似，因为引入残差可以大幅降低计算量）

2、stem结构与Inception v3的前面相同（卷积核个数稍稍不同）


3、Inception-ResNet-A结构（重复5个，就是在Inception v4 的 module A上将池化部分换成了引入残差）

4、Inception-ResNet-B结构（重复10个，）

5、Inception-ResNet-C结构

6、Reduction-A 结构（与Inception-V4的Reduction-A结构相同）

7、Reduction-B结构（虽然这个稍有改变，但是也是调参的结果，不知道具体的原因）

3、Inception-ResNet-v2(总体结构与Inception-ResNet-v1大差不差的，其中stem与Inception v4相同，其他的相对于Inception-ResNet-v1就是卷积核个数多一点，调参结果不再展示。个人认为意义不大)
4、对比结果

1、Inception v3与Inception ResNet v1效果近似，但是后者层数更多，收敛更快。Inception v4与Inception ResNet v2效果近似，但是后者层数更多，收敛更快。可以说明两条结论：a、对于深层网络来说，引入残差不是必须项，因为v4表现一样很好b、引入残差可以降低计算量。加快收敛速度。因为引入残差后的深度大增加，参数却没有爆炸，看下方两个图可以明显看出 收敛更快。