论文阅读笔记

这里论文中提到的技巧做笔记。

1. InceptionV4 （）GoogLeNetV4）

何凯明在Residual Learning 中提到的深度网路的训练，目的是为了稳定网络输出
①先warm-up, very low learning rate
②high learning rate

2. ResNet的结构的核心思想是恒等快捷连接（identity shortcut connection）的结构，可以跳过多个结构。

1的存在使得梯度不会消失。
在ResNet34中使用BasicBlock结构，话说torch中resnet深度有五种：resnet18, 34, 50, 101, 152。基本结构是BasicBlock和Bottleneck
代码传送
3. 我对resnet的一点理解
224先上来用77的卷积核是为了保存更多的特征，其实33的叠加能省显存。另外关于输入224卷积77之后变化为112是因为：floor((224-7+23)/2 +1)，此处卷积特殊。
4. Inception

• V1 输出有三个使用的loss由三部分组成，该网络增加了两个分支输出。为防止梯度传导消失。v1的最大改进在于增加网络的宽度而不仅仅是深度，利用三种卷积尺寸，11， 33， 5*5, 再加最大池化来丰富特征提取的组合。我在做语义分割项目时遇到字体笔画纤薄难以准确分割的问题，这个网络很好的提取了特征，尽管restnet101层数比iceptionv4深很多，但单纯增加深度没有帮我的网络提取更好的细节特征，inception刚好解决了不同物体可能出现不同大小的情况。
• V2重点在改进深度模型训练爆炸和消失问题，早期研究人员在训练网络时要使用比较小的学习率并注意初始化方式（大的学习率在深网络中容易膨胀或消失），batch normallization修正数据的分布，有助解决爆炸和消失，对dropout的要求也会降低。BN修正数据的分布，从而保证网络每次迭代都能学到东西。
• V3主要改进在于将大的卷积核拆分为小的卷积核，如用两个33代替55，用13 和31代替33，，这样可以节省显存。V3将77卷积拆成17卷积和71卷积，加入BatchNorm 或 Dropout。标签平滑。
• V4借鉴resnet思想