[深度学习] 反向传播的四个基本公式证明及算法流程

首先，我们来定义一些变量名：

然后是以下四个公式的证明过程：

最后我们得到反向传播算法的算法流程：

PS：对着网上的教程推了小半天，现在总算记住了，没准以后面试就会考到 = = 不过反向传播是现在网络训练的数学基础，以前只是有感性的认识，现在数学公式一列还是清楚了不少。