用最简单的神经网络识别手写数字

在上一篇文章中我们用Softmax Regression进行了手写数字的识别，精度达到了92%，非常的鼓舞人心。现在让我们进入神经网络的世界，用一个最简单的神经网络来进行手写数字的识别，数据集还是选择MNIST。因为图片的大小是28 * 28像素，所以需要784个输入神经元。输出是0~9这10个数字，所以用10个神经元作为output layer。既然是最简单的神经网络，那我们就只用1层的hidden layer，神经元的个数经过多次试验，最终选择了15个，此时精度最高。网络结构如下图所示：

每个神经元的激活函数选择常用的sigmoid函数：

其取值范围为(0, 1)，如下图所示：

对于神经网络的输出，我们利用Softmax函数将其归一化，之后计算它和真实值的交叉熵，用作成本函数，再利用随机梯度下降法训练出参数。TensorFlow代码如下：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# Import data
mnist = input_data.read_data_sets('input_data', one_hot=True)

# Create the model
hidden_layer_count = 15
x = tf.placeholder(tf.float32, [None, 784])
y = tf.placeholder(tf.float32, [None, 10])
# hidden layer
w1 = tf.Variable(tf.zeros([784, hidden_layer_count]))
#w1 = tf.random_normal([784, hidden_layer_count], mean=0, stddev=1)
b1 = tf.Variable(tf.zeros([hidden_layer_count]))
a1 = tf.sigmoid(tf.matmul(x, w1) + b1)
# output layer
w2 = tf.Variable(tf.zeros([hidden_layer_count, 10]))
b2 = tf.Variable(tf.zeros(10))
a2 = tf.sigmoid(tf.matmul(a1, w2) + b2)

cross_entropy = tf.reduce_mean(
      tf.nn.softmax_cross_entropy_with_logits(labels=y, logits=a2))

train_step = tf.train.AdamOptimizer(0.01).minimize(cross_entropy)

sess = tf.Session()

sess.run(tf.global_variables_initializer())

# Train
for i in range(100000):
    batch_xs, batch_ys = mnist.train.next_batch(10)
sess.run(train_step, feed_dict={x: batch_xs, y: batch_ys})
    if i%100 == 0:
        curr_loss  = sess.run([cross_entropy], {x:batch_xs, y:batch_ys})
        print("i: %s loss: %s"%(i, curr_loss))
    '''if i%1000 == 0:
        correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(a2, 1))
        accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
        ret = sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels})
        print("i: %s accuracy: %s"%(i, ret))'''

# Test trained model
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(a2, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
print(sess.run(accuracy, feed_dict={x: mnist.test.images, y: mnist.test.labels}))

 相信看过上一篇文章的人都可以看懂这些代码，这里就不逐行解释了。代码运行的结果如下：

最终的精确度在80%左右。

因为代码里面有随机因素，所以每个人运行的结果会稍有不同。代码里有一些hyper-parameters是需要人工调整的，这些参数包括：hidden layer神经元的个数、学习率、每批训练样本的个数、训练的迭代次数、w和b的初始值。经过多次实验，最终hidden layer神经元的个数选择了15，学习率选择了0.01，每批训练样本的个数选择了10，训练的迭代次数选择了100000，w和b的初始值则简单的选择了0，达到了约80%的精确度。

更多文章请关注我的公众号：机器学习交流