机器学习之单层神经网络的训练:增量规则(Delta Rule)

文章目录

  • 权重的调整
  • 单层神经网络使用delta规则的训练过程

机器学习之单层神经网络的训练:增量规则(Delta Rule)_第1张图片

  • 神经网络以权值的形式存储信息,根据给定的信息来修改权值的系统方法称为学习规则。由于训练是神经网络系统地存储信息的唯一途径,因此学习规则是神经网络研究中的一个重要组成部分

权重的调整

机器学习之单层神经网络的训练:增量规则(Delta Rule)_第2张图片
(Xj 为结点的输入,Yi为结点的输出,Wij为其之间的权重,ei为正确值di 与输出值Yi的误差)

  • 如果一个输入节点导致了输出节点的误差,则两个节点之间的权重按输入值xj和输出误差ei的比例进行调整

那么这个公式:
在这里插入图片描述
α=学习率(0< a <1)

  • 学习速率α决定了每次权重的多少。如果这个值过高,输出就会在解决方案中徘徊,无法收敛。相反,如果它太低,计算到达解的速度太慢

单层神经网络使用delta规则的训练过程

1.以足够的值初始化权重。
2.从{输入,正确输出}的训练数据中取“输入”,输入神经网络。计算从正确的输出di到输入的输出yi的误差。
在这里插入图片描述

3.根据以下delta规则计算权重更新:
在这里插入图片描述

4。调整重量为:
在这里插入图片描述

5。对所有训练数据执行步骤2-4。
6.重复步骤2-5,直到误差达到可接受的公差水平。

  • 这些步骤几乎与“神经网络的监督学习”部分中的监督学习过程完全相同。唯一的区别是增加了步骤6。步骤6只是说明整个训练过程是重复的。一旦完成步骤5,就用每个数据点对模型进行训练。那么,为什么我们要使用所有相同的训练数据来训练它呢?这是因为delta规则在重复这个过程时搜索解决方案,而不是一次性解决它。3整个过程重复进行,因为用相同的数据再训练模型可能会改进模型。

训练过程
机器学习之单层神经网络的训练:增量规则(Delta Rule)_第3张图片

你可能感兴趣的:(机器学习,人工智能,机器学习,神经网络,人工智能)