【数之道 05】走进神经网络模型、机器学习的世界

神经网络

  • 神经网络(ANN)
  • 神经网络基础
    • 激活函数
  • 神经网络如何通过训练提高预测准确度
    • 逆向参数调整法 (BackPropagation)
      • 梯度下降法
      • 链式法则
      • 增加一层

b站视频连接

神经网络(ANN)

最简单的例子,视频的推送,就是神经网络作用的结果
【数之道 05】走进神经网络模型、机器学习的世界_第1张图片

神经网络基础

人造神经元是整个网络系统的最小单位,不同神经元按照权重不同连接
输入层:起到传递数据的作用
隐藏层:部分神经元被激活,这里涉及到激活函数,根据相应权重流入输出层
输出层:神经元根据激活函数产生最终的输出值

【数之道 05】走进神经网络模型、机器学习的世界_第2张图片

激活函数

【数之道 05】走进神经网络模型、机器学习的世界_第3张图片
拿其中一个神经元来说,信号强度是由之前的加权和决定,激活函数将输入信号转换成该神经元的输出值
【数之道 05】走进神经网络模型、机器学习的世界_第4张图片
这里如果激活函数为分段函数,输出值会产生突变 0突变为1
为了平滑神经元输出值,选择不同的激活函数

神经网络如何通过训练提高预测准确度

逆向参数调整法 (BackPropagation)

【数之道 05】走进神经网络模型、机器学习的世界_第5张图片
训练的结果是不断调整w1,w2,让Y,E集合的误差平方和最小
【数之道 05】走进神经网络模型、机器学习的世界_第6张图片
具体调整过程中需要借助

  • 梯度下降法
  • 链式法则

梯度下降法

核心
为了求得误差平方和的最小值,将w从初始值逐渐移动到s(w)导数为0处

【数之道 05】走进神经网络模型、机器学习的世界_第7张图片
每次移动的幅度由s,w的导数和学习系数常数值eta决定
这里导数为正时,步幅为负
这里学习系数太小了学习速度慢,太大了可能会跳过极值点

【数之道 05】走进神经网络模型、机器学习的世界_第8张图片

链式法则

这里对s,w的求导过程中需要使用链式法则
【数之道 05】走进神经网络模型、机器学习的世界_第9张图片
【数之道 05】走进神经网络模型、机器学习的世界_第10张图片

增加一层

依然可以套用之前的结果
【数之道 05】走进神经网络模型、机器学习的世界_第11张图片

你可能感兴趣的:(机器学习,神经网络,人工智能)