BP算法(Back Propagation) 与 梯度下降法

BP算法由信号的正向传播和误差的反向传播两个过程组成。

正向传播时,输入样本从输入层进入网络,经隐层逐层传递至输出层,如果输出层的实际输出与期望输出(导师信号)不同,则转至误差反向传播;如果输出层的实际输出与期望输出(导师信号)相同,结束学习算法。

反向传播时,将输出误差(期望输出与实际输出之差)按原通路反传计算,通过隐层反向,直至输入层,在反传过程中将误差分摊给各层的各个单元,获得各层各单元的误差信号,并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成,在不停地调整各层神经元的权值和阈值后,使误差信号减小到最低限度。

权值和阈值不断调整的过程,就是网络的学习与训练过程,经过信号正向传播与误差反向传播,权值和阈值的调整反复进行,一直进行到预先设定的学习训练次数,或输出误差减小到允许的程度。

 

详细的计算求解过程:https://www.cnblogs.com/duanhx/p/9655213.html

一篇写得比较好的文章:http://baijiahao.baidu.com/s?id=1603526007545961785&wfr=spider&for=pc

 

接下来了解梯度下降算法:

梯度下降算法数学本质上就是求导数的过程。

贴一篇讲的比较全面的文献:https://www.jianshu.com/p/c7e642877b0e

你可能感兴趣的:(BP算法(Back Propagation) 与 梯度下降法)