BP神经网络推导过程

一、感知机

感知机接收多个输入信号,输出一个信号,这的信号其实就是数值,感知机的信号会形成流,向前方输送信息。

BP神经网络推导过程_第1张图片

 BP神经网络推导过程_第2张图片

 x1,x2是输入信号,y是输出信号,w1,w2是权重。

二、BP神经网络

BP神经网络是一种按照信号正向传播和误差反向传播算法训练的多层神经网络,是应用最广泛的神经网络模型之一。

正向传播:输入层的神经元负责接受外界发来的各种信息,并将信息传递给中间层神经元,中间隐含层神经元负责将接收到的信号进行处理变换,根据需求处理信息,实际应用中可将中间隐含层设置为一层或者多层隐含层结构,并通过最后一层的隐含层将信息传递到输出层。

反向传播:当实际输出与理想输出之间的误差超过期望时,就需要进入误差的反向传播过程。

BP神经网络推导过程_第3张图片

注意:隐含层神经元的个数设置也有比较大的影响,节点过少,可能会造成神经网络的训练过程收敛变慢或不收敛。节点过多,预测精度提高的同时会造成网络拓扑过大,收敛速度慢,普遍性减弱。 

三、BP神经网络的推导

BP神经网络推导过程_第4张图片

 赋值进行推导

BP神经网络推导过程_第5张图片

前向传播

输入层->隐含层

 BP神经网络推导过程_第6张图片

BP神经网络推导过程_第7张图片

 隐含层->输出层

BP神经网络推导过程_第8张图片

 反向计算

计算总误差

BP神经网络推导过程_第9张图片

  隐含层->输出层的权值更新

BP神经网络推导过程_第10张图片

 更新

BP神经网络推导过程_第11张图片

BP神经网络推导过程_第12张图片

隐含层->输出层 

BP神经网络推导过程_第13张图片训练结束 

 

 

你可能感兴趣的:(神经网络,人工智能,深度学习)