Tensorflow 01: mnist-softmax

最近想把 tensorflow 好好看一遍，打好基础。俗话说，基础不牢，地动山摇。所以从基础开始，一遍遍的看 tensorflow 官网教程。每学习官网的一个案例，就写一篇博客，使自已能够坚持下去。主要是想从code的角度来了解学习tensorflow。今天介绍的是用tensorflow 中的softmax实现mnist手写体数字的分类识别。

mnist数据加载

# coding=utf-8
import tensorflow as tf
import matplotlib.pyplot as plt
from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

"""
    mnist 数据集了解
    每个图片大小：28 x 28
"""
# 训练集
train_img = mnist.train.images
print('train_img.shape: '),
print train_img.shape
train_label = mnist.train.labels
print('train_label.shape: '),
print train_label.shape
# 测试集
test_img = mnist.test.images
test_label = mnist.test.labels
# 验证集
validate_img = mnist.validation.images
validate_label = mnist.validation.labels

tensorflow中已经把mnist的训练集／验证集／测试集做好了。其中:
train_img.shape: (55000, 784)
train_label.shape: (55000, 10)
test_img.shape: (10000, 784)
test_label.shape: (10000, 10)
validate_img.shape: (5000, 784)
validate_label.shape: (5000, 10)
同时，tensorflow中还提供了一个ＡＰＩ用于按batch_size来获取训练集中的batch：

batch_xs, batch_ys = mnist.train.next_batch(100)

其中batch_xs.shape: (100, 784),　对应获取到的100张图片，batch_ys: (100, 10)对应获取到的１００张图片的one_hot vector。

计算图构建与训练

# 构造计算图
x = tf.placeholder(tf.float32, [None, 784])
W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x, W) + b)
y_ = tf.placeholder(tf.float32, [None, 10])
# loss function　代价函数
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
# 用于评估准确率
correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

sess = tf.InteractiveSession()
init = tf.global_variables_initializer()
sess.run(init)
# 训练
# 用于记录每次训练后loss的值
loss_val = []
# 用于记录每次训练后模型在测试集上的准确率的值
acc = []
for idx in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
    loss_tmp = sess.run(cross_entropy, feed_dict={x: batch_xs, y_: batch_ys})
    loss_val.append(loss_tmp)
    acc_tmp = sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels})
    acc.append(acc_tmp)

# 绘图
plt.figure()
plt.plot(loss_val)
plt.xlabel('number of iteration')
plt.ylabel('loss value')

plt.figure()
plt.plot(acc)
plt.xlabel('number of iteration')
plt.ylabel('accuracy value')
plt.show()

上述用到的网络结构softmax如下：

训练结果

每次训练迭代后的loss变化曲线：

注意：这里计算的loss对针对训练集中的参与训练的一个batch而言的。可以看到，采用随机梯度下降法，虽然计算速度加快了，但loss的抖动也比较大。

每次迭代后在测试集上的准确率变化曲线：

可以看到，最终的准确率在９２％左右。

用到的tensorflow API介绍

1. tf.matmul(A, B)
   用于矩阵A与矩阵B相乘。注意不是element-wise乘法，而是真正意义上的矩阵相乘。

２．tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1])
沿着指定的轴（在Python中，对于二维ndarray，１代表行，０代表列），计算ndarray中的元素的和。

３．tf.argmax(y, 1)
沿着指定的轴，计算ndarray y 中最大值出现的索引位置

４．tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
判断２个ndarray对应位置的元素是否相等，如果相等，结果为True，否则为False。