梯度消失究竟有什么影响

之前看很多在反向传播时候一直会提到的一个问题就是梯度消失，那么梯度消失究竟有什么作用呢？神经网络被说的那么复杂，其实本质上是需要求出每个神经元上面的参数是多少，一个神经元可以被理解为一个评估的节点。那么梯度就是衡量这个元素影响力的一个指标，需要通过梯度来更新参数。如果传播到了最后，不断乘以一个非常小的指标的话，梯度就没有办法传播到最前面的节点，那么也就没有办法更新参数。

y = 3X 这里考虑x对于y的影响的话，那么就需要对于X求导数，这边X的影响是3

如果换成y=ax的话，那么需要求出偏导数。