计算机视觉(五)深度学习基础

文章目录

  • 深度学习基础
    • 卷积神经网络与传统神经网络区别
      • 深度学习与神经网络的区别
    • 目标函数
      • 选择合适的目标函数
      • Softmax层
    • 改进的梯度下降
      • 梯度消失的直观解释
      • 激活函数
      • 学习步长
      • SGD的问题
        • Momentum动量
        • Nesterov Momentum
        • Adagrad
        • RMSprop
        • Adam
      • 各种梯度下降算法比较
      • 关于算法选择的建议
      • Batch Normalization的由来
    • 避免过适应
        • 早期停止训练
        • 权重衰减
        • Dropout
          • 测试时权重应减小
  • CNN初步介绍
    • CNN的基本组件
      • CNN卷积层
      • CNN池化层
      • CNN-Softmax层
    • 池化层的误差反向传播
      • 卷积层计算![在这里插入图片描述](https://img-blog.csdnimg.cn/be682bd439e04b999fe2448259bf47e5.png)
      • 卷积层运算的展开表示
    • 卷积层的误差反向传播

深度学习基础

卷积神经网络与传统神经网络区别

深度学习与神经网络的区别

计算机视觉(五)深度学习基础_第1张图片

目标函数

选择合适的目标函数

计算机视觉(五)深度学习基础_第2张图片
计算机视觉(五)深度学习基础_第3张图片

Softmax层

计算机视觉(五)深度学习基础_第4张图片

改进的梯度下降

梯度消失的直观解释

计算机视觉(五)深度学习基础_第5张图片

激活函数

计算机视觉(五)深度学习基础_第6张图片
计算机视觉(五)深度学习基础_第7张图片

学习步长

计算机视觉(五)深度学习基础_第8张图片

SGD的问题

计算机视觉(五)深度学习基础_第9张图片
存在马鞍面,使我们的训练卡住,于是提出下面方法:

Momentum动量

计算机视觉(五)深度学习基础_第10张图片

Nesterov Momentum

计算机视觉(五)深度学习基础_第11张图片
先利用“惯性”,“走”一步。避免一开始,就被当前梯度带偏。

Adagrad

为不同的参数设置不同的学习步长。
计算机视觉(五)深度学习基础_第12张图片

RMSprop

改进的Adagrad。使:
小的可以变大,大的可以变小。
计算机视觉(五)深度学习基础_第13张图片

Adam

计算机视觉(五)深度学习基础_第14张图片

各种梯度下降算法比较

计算机视觉(五)深度学习基础_第15张图片
计算机视觉(五)深度学习基础_第16张图片

关于算法选择的建议

计算机视觉(五)深度学习基础_第17张图片

Batch Normalization的由来

计算机视觉(五)深度学习基础_第18张图片
计算机视觉(五)深度学习基础_第19张图片
量纲不同,需要进行归一化处理。

避免过适应

计算机视觉(五)深度学习基础_第20张图片

早期停止训练

计算机视觉(五)深度学习基础_第21张图片

权重衰减

计算机视觉(五)深度学习基础_第22张图片

Dropout

计算机视觉(五)深度学习基础_第23张图片

测试时权重应减小

计算机视觉(五)深度学习基础_第24张图片

CNN初步介绍

CNN的基本组件

计算机视觉(五)深度学习基础_第25张图片

CNN卷积层

计算机视觉(五)深度学习基础_第26张图片计算机视觉(五)深度学习基础_第27张图片
计算机视觉(五)深度学习基础_第28张图片

计算机视觉(五)深度学习基础_第29张图片

CNN池化层

计算机视觉(五)深度学习基础_第30张图片
通道数没变,尺度大小变了。

CNN-Softmax层

计算机视觉(五)深度学习基础_第31张图片

池化层的误差反向传播

计算机视觉(五)深度学习基础_第32张图片
计算机视觉(五)深度学习基础_第33张图片计算机视觉(五)深度学习基础_第34张图片

卷积层计算计算机视觉(五)深度学习基础_第35张图片

卷积层运算的展开表示

计算机视觉(五)深度学习基础_第36张图片
与全连接是有区别的。

卷积层的误差反向传播

计算机视觉(五)深度学习基础_第37张图片
计算机视觉(五)深度学习基础_第38张图片
计算机视觉(五)深度学习基础_第39张图片
计算机视觉(五)深度学习基础_第40张图片
转了180度

计算机视觉(五)深度学习基础_第41张图片
计算机视觉(五)深度学习基础_第42张图片
下面是残差计算机视觉(五)深度学习基础_第43张图片

下面是梯度·计算机视觉(五)深度学习基础_第44张图片

你可能感兴趣的:(计算机视觉,计算机视觉,深度学习,人工智能)