每天五分钟机器学习：神经网络的前向传播和反向传播算法的总结

我们可以认为神经网络的前向传播是从前到后逐渐计算，而反向传播是从后到前逐渐计算。

神经网络的训练过程就是输入样本，然后进行前向传播得到最终的输出，然后输出和样本标签进行比较得到总损失，为了让总损失最小化，我们要进行参数调整，参数调整的方法就是使用反向传播算法，然后进行参数更新。

参数更新一次之后继续进行前向传播，然后反向传播，然后参数更新，反反复复，最终参数将更新到一个非常好的状态，此时模型最优。

神经网络的厉害之处在于，只要你喂给它 足够多的数据，然后针对我们要解决的问题，我们设置好损失函数，只要最小化损失函数，它总是能够拟合好这些数据，然后进行未知样本的预测，这就是神经网络的强大之处。