神经网络的梯度下降算法

注：本文是学习吴恩达机器学习的学习笔记。

1. 对于所有的样本，为了找到对于不同参数的情况下神经网络成本函数的最小值，我们需要计算成本函数和成本函数对所有参数的偏导数（参数Theta对应的是实数，所谓的导数是指改变一点点，对应的成本函数也会改变）

对于单个训练样本先计算出Forward Propgation

单个样本反向传播算法计算出成本函数对所有参数的偏导数。

Back propagation算法的思路是：对于给定的训练样本（x,y）,首先用forward pass， h(x),然后计算每个节点的错误项（error term）delta，用于衡量每个节点对最终输出的误差的占比（responsible）。对于输出层，我们能直接的那网络的激活输出和样本的实际输出值的差值来计算。对于第l层的隐藏层的错误项（error team）delta的计算将基于一个权重的第l+1层平均错误项。

对于m个样本的反向传播算法计算