手写数字识别

方法思想及实现原理

knn算法

KNN算法的核心思想是：如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

BP神经网络

BP神经网络是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hide
layer)和输出层(output layer)，如图所示。

上图中，绿色单元为输入单元(input unit)，蓝色单元为隐藏层单元(hidden unit)，红色单元为输出单元(output unit)。

数据集描述

1.minst数据集： MNIST 数据集可在 http://yann.lecun.com/exdb/mnist/ 获取, 它包含了四个部分: Training set images: train-images-idx3-ubyte.gz (9.9 MB, 解压后
47 MB, 包含 60,000 个样本) Training set labels: train-labels-idx1-ubyte.gz
(29 KB, 解压后 60 KB, 包含 60,000 个标签) Test set images:
t10k-images-idx3-ubyte.gz (1.6 MB, 解压后 7.8 MB, 包含 10,000 个样本) Test set
labels: t10k-labels-idx1-ubyte.gz (5KB, 解压后 10 KB, 包含 10,000 个标签)
MNIST 数据集来自美国国家标准与技术研究所, National Institute of Standards and
Technology (NIST). 训练集 (training set) 由来自 250 个不同人手写的数字构成, 其中 50%
是高中学生, 50% 来自人口普查局 (the Census Bureau) 的工作人员. 测试集(test set)
也是同样比例的手写数字数据.

实验结果

knn算法结果

1.训练集与测试集为7：3

2.训练集与测试集为8：2

3.训练集与测试集为9：1

BP算法结果

前十次训练结果：训练集与测试集为7：3

训练集与测试集为8：2

测试集与训练集为9：1