Backpropagation算法

Backpropagation算法
5.1 通过迭代性的来处理训练集中的实例
5.2 对比经过神经网络后输入层预测值(predicted value)与真实值(target value)之间
5.3 反方向（从输出层=>隐藏层=>输入层）来以最小化误差(error)来更新每个连接的权重(weight)
5.4 算法详细介绍
输入：D：数据集，l 学习率(learning rate)， 一个多层前向神经网络
输出：一个训练好的神经网络(a trained neural network)
5.4.1 初始化权重(weights)和偏向(bias): 随机初始化在-1到1之间，或者-0.5到0.5之间，每个单元有一个偏向
5.4.2 对于每一个训练实例X，执行以下步骤：
5.4.2.1： 由输入层向前传送

5.4.2.2 根据误差(error)反向传送
对于输出层：
对于隐藏层：

           5.4.3 终止条件
                     5.4.3.1 权重的更新低于某个阈值
                     5.4.3.2 预测的错误率低于某个阈值
                     5.4.3.3 达到预设一定的循环次数

6. Backpropagation 算法举例