关于BP算法、梯度下降法和最小二乘法的介绍和比较

以下来源于百度百科

BP算法由信号的正向传播和误差的反向传播两个过程组成。

正向传播时,输入样本从输入层进入网络,经隐层逐层传递至输出层,如果输出层的实际输出与期望输出(导师信号)不同,则转至误差反向传播;如果输出层的实际输出与期望输出(导师信号)相同,结束学习算法。

反向传播时,将输出误差(期望输出与实际输出之差)按原通路反传计算,通过隐层反向,直至输入层,在反传过程中将误差分摊给各层的各个单元,获得各层各单元的误差信号,并将其作为修正各单元权值的根据。这一计算过程使用梯度下降法完成,在不停地调整各层神经元的权值和阈值后,使误差信号减小到最低限度。

权值和阈值不断调整的过程,就是网络的学习与训练过程,经过信号正向传播与误差反向传播,权值和阈值的调整反复进行,一直进行到预先设定的学习训练次数,或输出误差减小到允许的程度。

总结:利用BP算法求解梯度,然后利用梯度下降法优化参数,得到损失函数的最小值。

以下内容来自知乎

最小二乘就是求偏导求极值。

关于BP算法、梯度下降法和最小二乘法的介绍和比较_第1张图片

梯度下降法是求通过代价函数,参数迭代求得参数值

关于BP算法、梯度下降法和最小二乘法的介绍和比较_第2张图片

总结:梯度下降法相对于最小二乘来说,计算量小一些。

参考资料:

https://baike.baidu.com/item/BP算法/1252294

https://www.zhihu.com/question/20822481

你可能感兴趣的:(关于BP算法、梯度下降法和最小二乘法的介绍和比较)