「Deep Learning」Note on Inception V4和Inception-ResNet

Sina Weibo：小锋子Shawn
Tencent E-mail：[email protected]
http://blog.csdn.net/dgyuanshaofeng/article/details/83570204

Inception和ResNet的结合。另外，v1-v4，历时一年多，谷歌高产啊，1412-1602。也感叹ResNet和Inception V4成为了神经网络的高峰，往后的工作多数都是修补了，没有革命性的东西。

作者：Christian Szegedy, Sergey Ioffe, Vincent Vanhoucke, Alex Alemi
单位：Google Inc.

0 摘要

Inception结构以low计算代价和very good性能出名。提到残差网络与Inception-v3具有相似的性能。提出问题：Inception结构结合残差连接（residual connections）是否获得更好？给出答案：残差连接显著加速Inception网络的训练。残差Inception网络稍微超越expensive Inception网络。集成3个残差网络和1个Inception-v4，ImageNet测试集实现3.08%的top-5错误率。

1 介绍

AlexNet被利用于各种各样的计算机视觉任务，比如物体检测R-CNN，分割FCN，人体姿态估计DeepPose，视频分类deepvideo，物体跟踪，超分辨率重建SRCNN。研究内容：结合残差连接和Inception结构。

2 相关工作

提及AlexNet之后的重要工作有Network-in-Network，VGGNet，GoogLeNet。作者发现训练极深网络，残差网络不是必要的。简要总结，V1版本为谷歌网络，V2版本结合批量规范化，V3版本结合因子分解factorization。

3 结构选择

3.1 纯Inception块

3.2 残差Inception块

3.3 Scaling of the Residuals

4 训练方法

5 实验结果

6 结论

[1] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning 2016 [paper]