cs231阅读笔记(3)—— CNN结构的发展历程

常用的CNN结构


cs231阅读笔记(3)—— CNN结构的发展历程_第1张图片


AlexNet

2012,5 + 2层,受算力影响,分布在了两个GPU上
cs231阅读笔记(3)—— CNN结构的发展历程_第2张图片


VGG

2014,更深的网络,更小的卷积核
三层3 * 3网络和一层7 * 7网络的effective receptive field相同(由高层到底层3=>5=>7)


googLeNet
  • 2014,22层,inception模块,没有全连接,使用了多层的输出做分类(一定程度上解决了梯度消失的问题,且在决策时结合多层)
  • inception模块的设计导致了很大的计算量和很深的输出,因此在经过卷积模块前,先使用1 * 1的卷积层降低深度(类似于对前面feature map的不同层做线性组合)
    cs231阅读笔记(3)—— CNN结构的发展历程_第3张图片

ResNet
  • 2015,152层超深(也有34、50、101),没有全连接层
  • 思路:理论上深层的网络会比浅层的网络效果更好,但深层的网络更难训练。因此,将浅层的输入连接到最后,相当于使用浅层的网络去拟合残差。更像是在学习如何修正x,而非直接学习如何得到x,一种分解的策略
  • 更深的层也用到了bottleneck
    cs231阅读笔记(3)—— CNN结构的发展历程_第4张图片

发展

Resnet系列

cs231阅读笔记(3)—— CNN结构的发展历程_第5张图片

  • 梯度消失,类似dropout

cs231阅读笔记(3)—— CNN结构的发展历程_第6张图片

其他

你可能感兴趣的:(笔记)