【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)

深度学习-01

  • 深度学习-01
    • 深度学习概述
      • 引入
        • 人工智能划时代事件
        • 深度学习巨大影响
      • 深度学习
        • 什么是深度学习
        • 深度神经网络
        • 深度学习与机器学习的关系
      • 深度学习的特点
        • 深度学习的优点
        • 深度学习的缺点
        • 为什么要学习深度学习
      • 深度学习的应用
      • 深度学习发展史
        • 深度网络进化过程
      • 小结
    • 感知机与神经网络
      • 感知机
        • 什么是感知机
        • 感知机的功能
          • 实现逻辑和
          • 实现逻辑或
        • 如何实现感知机
          • 实现逻辑和
          • 实现逻辑或
        • 感知机的缺陷
        • 多层感知机
          • 多层感知机解决异或门实现
      • 神经网络
        • 什么是神经网络
        • 神经网络的功能
        • 通用近似定理
        • 深层网络的优点
      • 激活函数
        • 什么是激活函数
        • 为什么使用激活函数
        • 常见的激活函数
          • 阶跃函数
          • sigmoid函数
          • tanh双曲正切函数
          • ReLU(Rectified Linear Units,修正线性单元)
          • Softmax
      • 小结
    • 损失函数与梯度下降
      • 损失函数
        • 什么是损失函数
        • 损失函数的作用
        • 常用的损失函数
          • 均方误差损失函数
          • 交叉熵
      • 梯度下降
        • 什么是梯度下降
        • 梯度下降
        • 导数与偏导数
          • 导数
          • 偏导数
        • 学习率
        • 梯度递减训练法则
        • 梯度下降算法
          • 批量梯度下降
          • 随机梯度下降
          • 小批量梯度下降
          • 几种梯度下降算法收敛比较
        • 小结
    • 反向传播算法
      • 什么是正向传播网络
      • 什么是反向传播
      • 为什么需要反向传播
      • 反向传播算法及简史
      • 图解反向传播
      • 反向传播计算
      • 链式求导法则
      • 案例1:通过反向传播计算偏导数
      • 小结
    • 卷积神经网络
      • 卷积函数
        • 什么是卷积
        • 离散卷积与多维卷积
        • 生活中的卷积
      • 卷积神经网络
        • 全连接神经网络的局限
        • 什么是卷积神经网络
        • 卷积神经网络的用途
        • 卷积运算
          • 单通道、二维卷积运算示例
          • 单通道、二维带偏置的卷积运算示例
          • 带填充(padding)的单通道、二维卷积运算示例
          • 步幅(stride)为2的卷积算示例
          • 卷积运算输出矩阵大小计算公式
          • 多通道卷积
        • 卷积运算的效果
        • 案例2:图像卷积运算
        • 卷积神经网络结构
          • 总体结构
          • 卷积层
          • 激活层
          • 池化层
          • 池化层计算
          • 池化层的特征
          • 全连接层
        • 典型CNN介绍
          • LeNet:主要参数
          • AlexNet:特点
          • AlexNet:主要参数
          • VGG:概要介绍
          • VGG:主要参数
      • 小结
    • 总结

深度学习-01

深度学习概述

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第1张图片

引入

人工智能划时代事件

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第2张图片

深度学习巨大影响

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第3张图片

深度学习

什么是深度学习

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第4张图片

深度神经网络

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第5张图片

深度学习与机器学习的关系

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第6张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第7张图片

深度学习的特点

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第8张图片

深度学习的优点

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第9张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第10张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第11张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第12张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第13张图片

深度学习的缺点

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第14张图片

为什么要学习深度学习

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第15张图片

深度学习的应用

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第16张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第17张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第18张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第19张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第20张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第21张图片

深度学习发展史

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第22张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第23张图片
在这里插入图片描述
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第24张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第25张图片

深度网络进化过程

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第26张图片

小结

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第27张图片

感知机与神经网络

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第28张图片

感知机

什么是感知机

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第29张图片

感知机的功能

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第30张图片

实现逻辑和

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第31张图片

实现逻辑或

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第32张图片

如何实现感知机

实现逻辑和

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第33张图片

实现逻辑或

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第34张图片

感知机的缺陷

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第35张图片

多层感知机

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第36张图片

多层感知机解决异或门实现

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第37张图片

神经网络

什么是神经网络

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第38张图片

神经网络的功能

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第39张图片

通用近似定理

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第40张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第41张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第42张图片

深层网络的优点

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第43张图片

激活函数

什么是激活函数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第44张图片

为什么使用激活函数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第45张图片

常见的激活函数

阶跃函数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第46张图片

sigmoid函数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第47张图片

tanh双曲正切函数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第48张图片

ReLU(Rectified Linear Units,修正线性单元)

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第49张图片

Softmax

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第50张图片

小结

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第51张图片

损失函数与梯度下降

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第52张图片

损失函数

什么是损失函数

在这里插入图片描述

损失函数的作用

在这里插入图片描述

常用的损失函数

均方误差损失函数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第53张图片

交叉熵

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第54张图片

梯度下降

什么是梯度下降

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第55张图片

梯度下降

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第56张图片

导数与偏导数

导数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第57张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第58张图片

偏导数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第59张图片

学习率

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第60张图片

梯度递减训练法则

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第61张图片

梯度下降算法

批量梯度下降

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第62张图片

随机梯度下降

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第63张图片

小批量梯度下降

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第64张图片

几种梯度下降算法收敛比较

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第65张图片

小结

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第66张图片

反向传播算法

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第67张图片

什么是正向传播网络

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第68张图片

什么是反向传播

在这里插入图片描述

为什么需要反向传播

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第69张图片

反向传播算法及简史

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第70张图片【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第71张图片

图解反向传播

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第72张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第73张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第74张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第75张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第76张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第77张图片

反向传播计算

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第78张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第79张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第80张图片

链式求导法则

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第81张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第82张图片

案例1:通过反向传播计算偏导数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第83张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第84张图片

小结

在这里插入图片描述

卷积神经网络

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第85张图片

卷积函数

什么是卷积

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第86张图片

离散卷积与多维卷积

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第87张图片

生活中的卷积

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第88张图片

卷积神经网络

全连接神经网络的局限

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第89张图片

什么是卷积神经网络

在这里插入图片描述

卷积神经网络的用途

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第90张图片

卷积运算

单通道、二维卷积运算示例

相同位置相乘再相加
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第91张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第92张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第93张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第94张图片

单通道、二维带偏置的卷积运算示例

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第95张图片

带填充(padding)的单通道、二维卷积运算示例

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第96张图片

步幅(stride)为2的卷积算示例

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第97张图片

卷积运算输出矩阵大小计算公式

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第98张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第99张图片

多通道卷积

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第100张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第101张图片

卷积运算的效果

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第102张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第103张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第104张图片

案例2:图像卷积运算

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第105张图片
【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第106张图片

卷积神经网络结构

总体结构

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第107张图片

卷积层

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第108张图片

激活层

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第109张图片

池化层

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第110张图片

池化层计算

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第111张图片

池化层的特征

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第112张图片

全连接层

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第113张图片

典型CNN介绍

LeNet:主要参数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第114张图片

AlexNet:特点

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第115张图片

AlexNet:主要参数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第116张图片

VGG:概要介绍

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第117张图片

VGG:主要参数

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第118张图片

小结

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第119张图片

总结

【深度学习01】概念、特点、应用、发展史、感知机、神经网络、激活函数(转载)_第120张图片

你可能感兴趣的:(深度学习,C++学习,图像处理,c++,图搜索算法,深度学习)