另辟蹊径——误差逆传播算法识别MNIST手写数字

MNIST数据集(Mixed National Institute of Standards and Technology database)是美国国家标准与技术研究院收集整理的大型手写数字数据库,包含60,000个示例的训练集以及10,000个示例的测试集。

每个数字都是28*28的矩阵，总计是784个数据，我们将这784个数据“拉成”一维矩阵，将其作为多层感知机的“x”。

 误差逆传播算法总体上来看就是由众多和sigmoid函数组成的集合，在算法中，阈值和连接权（权重）使用随即初始值，例如在pytorch中我们可以使用以下方法实现

num_inputs = 784
num_outputs = 10
num_hiddens = 256

w1 = nn.Parameter(torch.randn(num_inputs,num_hiddens,requires_grad=True)*0.1)
b1 = nn.Parameter(torch.zeros(num_hiddens,requires_grad=True))
w2 = nn.Parameter(torch.randn(num_hiddens,num_outputs,requires_grad=True)*0.1)
b2 = nn.Parameter(torch.zeros(num_outputs,requires_grad=True))

假定训练集为，我们设一层隐层，一层输出层，隐层中有256个神经元，输出层有10个神经元，分别是0，1，2，3，4，5，6，7，8，9。那么隐层的输入应为

输出层神经元的输入为

 这里还需要使用sigmoid函数对每一个y进行“压缩”

 则网络在的均方误差为

 误差逆传播算法基于梯度下降策略，以目标的负梯度方向对参数进行调整,任意参数v的更新估计式为

对于上述均方误差，给定学习率，有

 误差逆传播算法是一个迭代学习算法，类似上述公式，将其余值的求出，并结合更新估计式对参数进行更新估计。需注意的是，误差逆传播算法的目标是要最小化训练集D上的累计误差