ResNet 09

一、发展

1989年,Yann LeCun提出了一种用反向传导进行更新的卷积神经网络,称为LeNet。

1998年,Yann LeCun提出了一种用反向传导进行更新的卷积神经网络,称为LeNet-5

AlexNet是2012年ISLVRC 2012(ImageNet Large Scale Visual Recognition  Challenge)竞赛的冠军网络,分类准确率由传统的 70%+提升到 80%+。 它是由Hinton和他的学生Alex Krizhevsky设计的。也是在那年之后,深度学习开始迅速发展。


VGG在2014年由牛津大学著名研究组VGG (Visual Geometry  Group) 提出,斩获该年ImageNet竞 赛中 Localization Task (定位 任务) 第一名 和 Classification Task (分类任务) 第二名。[1.38亿个参数]

GoogLeNet在2014年由Google团队提出,斩获当年ImageNet竞赛中Classification Task (分类任务) 第一名。[论文:Going deeper with convolutions][600多万参数]

ResNet在2015年由微软实验室提出,斩获当年ImageNet竞赛中 分类任务第一名,目标检测第一名。获得COCO数据集中目标 检测第一名,图像分割第一名。[论文:Deep Residual Learning for Image Recognition]

二、ResNet

2.1 网络特点

  • 超深的网络结构(突破1000层)
  • 提出residual模块
  • 使用Batch Normalization加速训练(丢弃dropout)

 正常网络,网络越深,错误率越高;而ResNet是网络越深,错误率越低

ResNet 09_第1张图片

梯度消失或梯度爆炸问题:BN解决

退化问题:残差解决

ResNet 09_第2张图片

F(x)是卷积对x的结果,最终结果是x+F(x)

如果网络效果变好:x+F(x)

如果加上网络不好:x+ 0

2.2 残差

ResNet 09_第3张图片

左边是基础的残差结构

右边是改进的结构,减少参数

ResNet 09_第4张图片

实线与虚线

ResNet 09_第5张图片

实线是,图片输入与输出维度不变 

虚线是,图片整体长宽的下降

2.3 BN

Batch Normalization的目的是使我们的一批(Batch)  feature map满足均值为0,方差为1的分布规律[参考]。

ResNet 09_第6张图片

你可能感兴趣的:(cnn)