机器学习与深度学习（九）：梯度下降算法原理

从x通过W参数得到得分值，然后归一化，就得到了一个属于类别的概率值，之后再求出loss值。接下来就需要进行一个最优化的操作。
从x到loss的过程称为前向传播。
神经网络一般是通过BP算法（Error Back Propagation）求解的，即通过前向传播求出loss值，再通过反向传播去优化权重参数W值。
前向传播完成之后，需要经过反向传播去优化W参数。