使用TensorFlow实现MNIST数据集分类

1 MNIST数据集

MNIST数据集由70000张28x28像素的黑白图片组成，每一张图片都写有0~9中的一个数字，每个像素点的灰度值在0 ~ 255（0是黑色，255是白色）之间。

MINST数据集是由Yann LeCun教授提供的手写数字数据库文件，其官方下载地址THE MNIST DATABASE of handwritten digits

下载好MNIST数据集后，将其放在Spyder工作目录下（若使用Jupyter编程，则放在Jupyter工作目录下），如图：

G:\Anaconda\Spyder为笔者Spyder工作目录，MNIST_data为新建文件夹，读者也可以自行命名。

2 实验

为方便设计神经网络输入层，将每张28x28像素图片的像素值按行排成一行，故输入层设计28x28=784个神经元，隐藏层设计600个神经元，输出层设计10个神经元。使用read_data_sets()函数载入数据集，并返回一个类，这个类将MNIST数据集划分为train、validation、test 3个数据集，对应图片数分别为55000、5000、10000。本文采用交叉熵损失函数，并且为防止过拟合问题产生，引入正则化方法。
mnist.py

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

#载入数据集
mnist=input_data.read_data_sets("MNIST_data",one_hot=True)

#每批次的大小
batch_size=100
#总批次数
batch_num=mnist.train.num_examples//batch_size
#训练轮数
training_step = tf.Variable(0,trainable=False)

#定义两个placeholder
x=tf.placeholder(tf.float32, [None,784])
y=tf.placeholder(tf.float32, [None,10])

#神经网络layer_1
w1=tf.Variable(tf.random_normal([784,600]))
b1=tf.Variable(tf.constant(0.1,shape=[600]))
z1=tf.matmul(x,w1)+b1
a1=tf.nn.tanh(z1)

#神经网络layer_2
w2=tf.Variable(tf.random_normal([600,10]))
b2=tf.Variable(tf.constant(0.1,shape=[10]))
z2=tf.matmul(a1,w2)+b2

#交叉熵代价函数
cross_entropy=tf.nn.sparse_softmax_cross_entropy_with_logits(labels=tf.argmax(y,1),logits=z2)
#cross_entropy=tf.nn.softmax_cross_entropy_with_logits_v2(labels=y,logits=z2) 
#L2正则化函数
regularizer=tf.contrib.layers.l2_regularizer(0.0001)
#总损失
loss=tf.reduce_mean(cross_entropy)+regularizer(w1)+regularizer(w2)
#学习率(指数衰减法)
laerning_rate = tf.train.exponential_decay(0.8,training_step,batch_num,0.999)
#梯度下降法优化器
train=tf.train.GradientDescentOptimizer(laerning_rate).minimize(loss,global_step=training_step)

#预测精度
correct_prediction=tf.equal(tf.argmax(y,1),tf.argmax(z2,1))
accuracy=tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

#初始化变量
init=tf.global_variables_initializer()

with tf.Session() as sess:
    sess.run(init)
    test_feed={x:mnist.test.images,y:mnist.test.labels}
    for epoch in range(51):
        for batch in range(batch_num):
            x_,y_=mnist.train.next_batch(batch_size)
            sess.run(train,feed_dict={x:x_,y:y_})
        acc=sess.run(accuracy,feed_dict=test_feed)
        if epoch%10==0:
            print("epoch:",epoch,"accuracy:",acc)  

迭代50次后，精度达到97.68%。