计算机视觉(四)神经网络与典型的机器学习步骤

文章目录

  • 神经网络
    • 生物神经元
    • 人工神经元
      • 激活函数
      • 导数
    • 人工神经网络
      • “层”的通俗理解
    • 前馈神经网络
      • Delta学习规则
      • 前馈神经网络的目标函数
      • 梯度下降
      • 输出层权重改变量
  • 误差方向传播算法
    • 误差传播迭代公式
    • 简单的BP算例
    • 随机梯度下降(SGD)
    • Mini-batch Gradient Descent
  • 典型的机器学习步骤
    • 特征对学习的影响
    • 深度学习的特征
    • “连接主义”的兴衰史
    • 深度学习与神经网络的区别

神经网络

  • 神经网络:大量神经元节点按一定体系架构连接成的网状结构——大脑结构

  • 神经网络的作用
    - 分类
    - 模式识别
    - 连续值预测

    • 建立输入与输出的映射关系

    生物神经元

    计算机视觉(四)神经网络与典型的机器学习步骤_第1张图片

    人工神经元

计算机视觉(四)神经网络与典型的机器学习步骤_第2张图片

每个神经元都是一个结构相似的独立单位,接受前一层传来的数据,并将这些数据的加权和输入非线性作用函数中,最后将非线性作用函数的输出结果传递给后一层。

在这里插入图片描述

激活函数

计算机视觉(四)神经网络与典型的机器学习步骤_第3张图片

导数

计算机视觉(四)神经网络与典型的机器学习步骤_第4张图片

人工神经网络

计算机视觉(四)神经网络与典型的机器学习步骤_第5张图片

“层”的通俗理解

计算机视觉(四)神经网络与典型的机器学习步骤_第6张图片
计算机视觉(四)神经网络与典型的机器学习步骤_第7张图片

前馈神经网络

人工神经网络的一种,无反馈,可用一个有向无环图表示。

计算机视觉(四)神经网络与典型的机器学习步骤_第8张图片

Delta学习规则

一种有监督学习算法。根据神经元的实际输出与期望输出差别来调整连接权。
计算机视觉(四)神经网络与典型的机器学习步骤_第9张图片

前馈神经网络的目标函数

计算机视觉(四)神经网络与典型的机器学习步骤_第10张图片

梯度下降

计算机视觉(四)神经网络与典型的机器学习步骤_第11张图片计算机视觉(四)神经网络与典型的机器学习步骤_第12张图片

输出层权重改变量

计算机视觉(四)神经网络与典型的机器学习步骤_第13张图片
计算机视觉(四)神经网络与典型的机器学习步骤_第14张图片
计算机视觉(四)神经网络与典型的机器学习步骤_第15张图片

误差方向传播算法

误差传播迭代公式

计算机视觉(四)神经网络与典型的机器学习步骤_第16张图片
计算机视觉(四)神经网络与典型的机器学习步骤_第17张图片
计算机视觉(四)神经网络与典型的机器学习步骤_第18张图片
计算机视觉(四)神经网络与典型的机器学习步骤_第19张图片

简单的BP算例

计算机视觉(四)神经网络与典型的机器学习步骤_第20张图片
计算机视觉(四)神经网络与典型的机器学习步骤_第21张图片
计算机视觉(四)神经网络与典型的机器学习步骤_第22张图片
计算机视觉(四)神经网络与典型的机器学习步骤_第23张图片

随机梯度下降(SGD)

计算机视觉(四)神经网络与典型的机器学习步骤_第24张图片

Mini-batch Gradient Descent

计算机视觉(四)神经网络与典型的机器学习步骤_第25张图片

典型的机器学习步骤

计算机视觉(四)神经网络与典型的机器学习步骤_第26张图片

特征对学习的影响

计算机视觉(四)神经网络与典型的机器学习步骤_第27张图片

深度学习的特征

深度学习是对神经网络模型的拓展。
计算机视觉(四)神经网络与典型的机器学习步骤_第28张图片

“连接主义”的兴衰史

计算机视觉(四)神经网络与典型的机器学习步骤_第29张图片

深度学习与神经网络的区别

计算机视觉(四)神经网络与典型的机器学习步骤_第30张图片

你可能感兴趣的:(计算机视觉,机器学习,计算机视觉,神经网络)