一文搞懂DNN反向传播!

本文主要整理自下面的几篇博客:

1、深度神经网络(DNN)反向传播算法(BP):https://www.cnblogs.com/pinard/p/6422831.html

2、机器学习中的矩阵、向量求导。https://download.csdn.net/download/weixin_42074867/10405246

1、推导BPNN前需要了解的矩阵求导知识

1.1 矩阵/向量值函数对实数的导数

一文搞懂DNN反向传播!_第1张图片

1.2 实值函数对矩阵/向量的导数

一文搞懂DNN反向传播!_第2张图片

1.3 向量值函数对向量的求导(雅可比矩阵)

一文搞懂DNN反向传播!_第3张图片

1.4 变量多次出现的求导法则

规则:若在函数表达式中,某个变量出现了多次,可以单独计算函数对自变量的每一次出现的导数,再把结果加起来。

1.5 向量求导的链式法则

一文搞懂DNN反向传播!_第4张图片

1.6 一一对应关系下的矩阵求导

一文搞懂DNN反向传播!_第5张图片

1.7 几个重要的结论

一文搞懂DNN反向传播!_第6张图片

掌握了上面的一些基本知识之后,我们就可以顺利推导出神经网络的反向传播算法。

2、反向传播的推导

具体的推导过程可以参考文章开头给出的博客,下图是我手动推导的过程:

一文搞懂DNN反向传播!_第7张图片
一文搞懂DNN反向传播!_第8张图片


赞赏支持

作者:石晓文的学习日记

链接:https://www.jianshu.com/p/ee08ed75844b

來源:

著作权归作者所有,任何形式的转载都请联系作者获得授权并注明出处。

你可能感兴趣的:(一文搞懂DNN反向传播!)