python手写数字识别实验报告_ANN MNIST手写数字识别总结

由于第十四周除了正常上课外，

其余时间在整理机器学习的笔记，

做中特社会调查报告，

然后就是元旦放假，故第十四周没提交周报。

本周正常上课，

继续完成老师都布置的课业任务，

总结通信系统仿真结果，

并且完成报

告的撰写，分析社会调查结果，做好报告，查阅物理层安全方面的资料，翻译和整理论文。

其余时间是开始学习深度学习理论和编程实践，人工神经网络

(ANN)

和卷积神经网络，了解

深度学习几个框架

(Caffe

、

Torch

、

TensorFlow

、

MxNet)

，最主要还是

TensorFlow

，学习和查

找了一下深度学习优化算法，并且利用人工神经网络做手写数字识别。

心得体会：第一个感受是时间过得很快，已然是

15

周了，要加快各方面进程。神经网

络从线性分类器开始，

线性分类器是产生一个超平面将两类物体分开。

一层神经网络叫做感

知器，

线性映射加激励输出，

每个神经元对输入信号利用激励函数选择输出，

就像大脑神经

元的兴奋或抑制，增加神经元数量、

隐层数量，就可以无限逼近位置函数分布的形态，

过多

会出现过拟合算法。

ANN

的学习方法是

BP

后向传播算法，其主要思想是每一层的带来的预

测误差是由前一层造成的，

通过链式求导法则将误差对每一层的权重和偏置进行求导更新权

重和偏置，以达到最优结果。因为

ANN

每一层神经元是全连接的，对于图像这种数据就需

要非常大数量的参数，所以就出现了卷积神经网路

CNN

，利用一些神经元以各种模版在图

像上滑动做卷积形成几张特征图，

每个神经元的滑动窗口值不一样代表其关注点不一样，

单

个神经元对整张图的窗口权重是一样的即权值共享

(这就是减少参数和神经元数量的原因)

，

这么做的依据是像素局部关联性。

CNN

主要有数据数据输入层、卷积计算层、激励层、池

化层(下采样层)

、全连接层、

Batch Normalization

层(可能有)

CNN

学习方法也是

BP

算法

迭代更新权重

w

和偏置

b

。

CNN

优点是共享卷积核，对高维数据处理无压力，无需手动选

取特征，训练好权重，即得特征，深层次的网络抽取，信息丰富，表达效果好，缺点是需要

调参，

需要大样本量，

训练最好要

GPU

，

物理含义不明确。

主要采用随机失活的方法解决过

拟合问题，因为

CNN

网络学习能力强，如果样本量小，容易让网络将样本的所有细节记忆

下来而不是学习到样本的共性规律，

所以随机失活神经元让部分神经元工作就可以缓解过拟

合问题。个人觉得深度学习理论不是很难，就是对硬件的要求很高，

GPU

真是其必备工具。

深度学习学习最主要的学习框架觉得是

TensorFlow

，因为

Google

大力支持，社区很庞大，

就是依赖硬件能力强。

以下是

ANN

MNIST

手写数字识别程序和结果，数据集是经典的

Yann

LeCun

(人工智能

界大佬)

MNIST

数据集，每张照片大小是

28

*

28

的灰度图，训练集

5000

张图片，验证集

1000

张图片，测试集

10000

张：