一文搞懂DNN反向传播！

本文主要整理自下面的几篇博客：

1、深度神经网络（DNN）反向传播算法(BP)：https://www.cnblogs.com/pinard/p/6422831.html

2、机器学习中的矩阵、向量求导。https://download.csdn.net/download/weixin_42074867/10405246

1、推导BPNN前需要了解的矩阵求导知识

1.1 矩阵／向量值函数对实数的导数

1.2 实值函数对矩阵／向量的导数

1.3 向量值函数对向量的求导(雅可比矩阵)

1.4 变量多次出现的求导法则

规则：若在函数表达式中，某个变量出现了多次，可以单独计算函数对自变量的每一次出现的导数，再把结果加起来。

1.5 向量求导的链式法则

1.6 一一对应关系下的矩阵求导

1.7 几个重要的结论

掌握了上面的一些基本知识之后，我们就可以顺利推导出神经网络的反向传播算法。

2、反向传播的推导

具体的推导过程可以参考文章开头给出的博客，下图是我手动推导的过程：

赞赏支持

作者：石晓文的学习日记

链接：https://www.jianshu.com/p/ee08ed75844b

來源：

著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。