权重的梯度的计算

权重的梯度（Gradient for weight）是以下三个部分的乘积：

1，该权重对应的输入节点值(Node value feeding into that weight)

2，该节点激活函数的斜率(Slope of activation function

3,   Loss function的斜率

Stochastic Gradient Descent

1,从整个数据集中取出一个子集，称作batch

2,每次计算一个batch的Gradient，并用此优化Weight

这样的方式称作：SGD，Stochastic Gradient Descent

每次把整个数据集计算一遍，求出Gradient，并用此优化Weight，这就是通常讲的：Gradient Descent方法。

明显可以看到，若子集中的数据分布特征与整个数据集的分布特征相似的话，SGD的效率比GD的效率要高。为了达到这个目标，在使用SGD时，通常要把数据整体打乱(shuffle），使得子集与整体的分布特征一致。