BP神经网络算法推导

1、前馈神经网络、反馈神经网络、BP网络等,他们之间的关系
前馈型神经网络:
取连续或离散变量,一般不考虑输出与输入在时间上的滞后效应,只表达输出与输入的映射关系;在此种神经网络中,各神经元从输入层开始,接收前一级输入,并输入到下一级,直至输出层。整个网络中无反馈,可用一个有向无环图表示。常见的前馈神经网络有感知机(Perceptrons)、BP(Back Propagation)网络、RBF(Radial Basis Function)网络等。
BP网络:
BP网络是指连接权调整采用了反向传播(Back Propagation)学习算法的前馈网络。与感知器不同之处在于,BP网络的神经元变换函数采用了S形函数(Sigmoid函数),因此输出量是0~1之间的连续量,可实现从输入到输出的任意的非线性映射。
由上可知BP网络是通过BP算法来修正误差的前馈神经网络
反馈型神经网络:
取连续或离散变量,考虑输出与输入之间在时间上的延迟,需要用动态方程来描述系统的模型。

前馈型神经网络的学习主要采用误差修正法(如BP算法),计算过程一般比较慢,收敛速度也比较慢;
而反馈型神经网络主要采用Hebb学习规则,一般情况下计算的收敛速度很快。
神经网络分类:
BP神经网络算法推导_第1张图片
BP神经网络算法推导_第2张图片
BP神经网络算法推导_第3张图片
BP神经网络算法推导_第4张图片
BP神经网络算法推导_第5张图片
BP神经网络算法推导_第6张图片
BP神经网络算法推导_第7张图片
BP神经网络算法推导_第8张图片
BP神经网络算法推导_第9张图片
BP神经网络算法推导_第10张图片

参考:http://www.cnblogs.com/wengzilin/archive/2013/04/24/3041019.html

你可能感兴趣的:(机器学习与神经网络推理,神经网络,BP算法)