卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)

其实大部分是李沐老师ppt的内容,我只是整理了一下

不同神经网络模型

LeNet

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第1张图片


AlexNet 2012

  • 2012年
  • sigmoid变成了ReLU(减缓梯度消失)
  • 隐藏全连接层后加入了丢弃层
  • 数据增强
  • 新加入丢弃法,最大池化层

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第2张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第3张图片


卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第4张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第5张图片


VGG 2013

  • 更大更深的AleNetx(重复的VGG块)
  • 将卷积层组合成块

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第6张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第7张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第8张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第9张图片
卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第10张图片

NIN

  • 全连接层太贵,参数太多容易过拟合

  • 但卷积层后的的一个全连接层的参数非常大

  • 1x1卷积层来替代全连接层

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第11张图片
卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第12张图片
卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第13张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第14张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第15张图片

Inception模型进化史

慢,大,精准

增加多样性,参数变少,计算量降低

超百层卷积层,虽然不是深度到百层

Inception-v1 GoogLeNet 2014

  • 大量使用1*1卷积,变换通道数
  • Inception块只改变通道数,不改变高宽

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第16张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第17张图片

Inception块卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第18张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第19张图片

段1&2

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第20张图片

段3

这些超参数散发着金钱的味道,没有为什么,都是试出来的

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第21张图片

段4&5

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第22张图片

Inception-v2 BN 2014

Inception-v3 修改Inception块 2014

段3:5X5变为两个3X3

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第23张图片

段4:3x3变为1x7和7x1的两个串行卷积层

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第24张图片

段5:3x3变为1x3和3x1的两个并行卷积层

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第25张图片

Inception-v4 使用残差连接 2016

Inception-ResNet 2016

ResNet

  • 很重要很好用的网络
  • 学偏了,就算很深也没用
  • 残差加在哪都可以
  • 已经是优化很好的网络了

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第26张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第27张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第28张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第29张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第30张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第31张图片

卷积神经网络CNN各种模型(李沐老师的课程笔记——动手学)_第32张图片

参考来源

动手学深度学习 v2 - 从零开始介绍深度学习算法和代码实现

课程主页:https://courses.d2l.ai/zh-v2/

教材:https://zh-v2.d2l.ai/

你可能感兴趣的:(神经网络,深度学习,人工智能,计算机视觉,算法)