Pytorch机器学习——3 神经网络（八）

outline

1. 神经元与神经网络
2. 激活函数
3. 前向算法
4. 损失函数
5. 反向传播算法
6. 数据的准备
7. PyTorch实例：单层神经网络实现

3.5 反向传播算法

在传统的机器学习方法（比如逻辑回归）中，可以通过梯度下降来确定权重的调整。逻辑回归可以看作没有隐含层的神经网络，但是在多层感知机中如何获取隐含层的权值是很困难的，我们能做的是计算输出层的误差更新参数，但是隐含层误差是不存在的。虽然无法直接获得隐含层的权值，但是我们知道在权重变化后相应的输出误差的变化，那么能否通过输出值和期望的输出间的差异来间接调整权值呢？
预测值和真实值之间的差别可以评估输出层的误差，然后根据输出层误差，计算最后一个隐含层中的每个神经元对输出层误差影响了多少，最后一层隐含层的误差又由其前一层的隐含层的计算得出。如此类推，直到输入层。这就是反向传播算法的思想。