python3 16.tensorflow使用长短期记忆模型(LSTM)对MNIST数据集进行分类 学习笔记

前言

     计算机视觉系列之学习笔记主要是本人进行学习人工智能（计算机视觉方向）的代码整理。本系列所有代码是用python3编写，在平台Anaconda中运行实现，在使用代码时，默认你已经安装相关的python库，这方面不做多余的说明。本系列所涉及的所有代码和资料可在我的github上下载到，gitbub地址：https://github.com/mcyJacky/DeepLearning-CV，如有问题，欢迎指出。

一、LSTM模型结构

     长短期记忆模型LSTM(Long-short term memory)是一种特殊的循环神经网络RNN (Recurrent neural network）模型。它是一种时间递归的神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件，在自然语言处理、语言识别等一系列的应用上都取得了很好的效果。相比于标准的RNN模型，LSTM主要增加了三个控制门单元：遗忘门、输入门和输出门。
     它的block结构图和计算方式如下图1.1所示：

图1.1 LSTM的block模型和计算公式

     图1.1所示，输入门是控制信号输入大小调节开关，遗忘们是控制上个cell信号的大小开关，输出门是控制cell信号输出大小的开关。这是一个block结构，相当于BP神经网络中的隐藏层。

二、使用LSTM识别MNIST手写数字

     MNIST数据集是图片的输入28x28x1格式，正常情况下我们不使用LSTM方法。这边我们是为了方便，将其看出序列结构模型。其中图片的宽度28为输入，图片的高度28为序列的长度。同时我们设置lstm的block个数为100，输出的分类为10，具体实现如下：

import tensorflow as tf
from tensorflow.examples.tutorials.mnist import input_data

# 载入数据集
mnist = input_data.read_data_sets('MNIST_data', one_hot=True)

# mnist数据集输入的图片是28*28*1
n_inputs = 28 #输入一行，一行有28个数据
max_time = 28 #一共有28行，代表序列的长度
lstm_size = 100 #隐藏单元个数，即block个数
n_classes = 10 #输出10分类
batch_size = 64 #每批次64个样本
n_batch = mnist.train.num_examples // batch_size # 计算一共有多少个批次

# 定义两个placeholder
x = tf.placeholder(tf.float32, [None,784])
y = tf.placeholder(tf.float32, [None,10])

# 输出层
# LSTM: 定义输出层的权值
weights = tf.Variable(tf.truncated_normal([lstm_size, n_classes], stddev=0.1))
# 初始化偏置值
biases = tf.Variable(tf.constant(0.1, shape=[n_classes]))

# 定义RNN_LSTM网络
def RNN_LSTM(X, weights, biases):
    # 维度转换 [batch_size, max_time, n_inputs]
    inputs = tf.reshape(X, [-1, max_time, n_inputs])
	# 定义LSTM
    lstm_cell = tf.nn.rnn_cell.LSTMCell(lstm_size)
	# outputs保存所有数据输出，final_state保存最后一个输出
    # final_state: [state, batch_size, cell.state_size]
    # final_state[0]是cell state, ct
    # final_state[1]是hidden_state, ht
    # outputs: The RNN output Tensor.
    #     if time_major = False{default}, this will be a Tensor shaped;
    #        [batch_size, max_time, cell.output_size]
    #     if time_major = True, this will be a Tensor shaped;
    #        [max_time, batch_size, cell.output_size]
    outputs, final_state = tf.nn.dynamic_rnn(lstm_cell, inputs, dtype=tf.float32)
    results = tf.nn.softmax(tf.matmul(final_state[1], weights) + biases)
    return results

# 计算RNN的返回结果
prediction = RNN_LSTM(x, weights, biases)
# 定义交叉熵代价函数
loss = tf.losses.softmax_cross_entropy(y, prediction)
# 优化器
train_step = tf.train.AdamOptimizer(1e-3).minimize(loss)

#求准确率
correct_prediction = tf.equal(tf.argmax(prediction,1), tf.argmax(y,1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

# 初始化
init = tf.global_variables_initializer()

# 定义会话
with tf.Session() as sess:
    sess.run(init)
    for epoch in range(11):
        for batch in range(n_batch):
            batch_xs, batch_ys = mnist.train.next_batch(batch_size)
            sess.run(train_step, feed_dict={x:batch_xs, y:batch_ys})
            
        acc = sess.run(accuracy, feed_dict={x:mnist.test.images, y:mnist.test.labels})
        print('iter: ' + str(epoch) + ' test accuracy: ' + str(acc))

#部分输出结果：
# iter: 0 test accuracy: 0.9135
# iter: 1 test accuracy: 0.9448
# iter: 2 test accuracy: 0.9569
# iter: 3 test accuracy: 0.9679
# iter: 4 test accuracy: 0.9678
# iter: 5 test accuracy: 0.9671
# iter: 6 test accuracy: 0.9761
# iter: 7 test accuracy: 0.9791
# iter: 8 test accuracy: 0.9735
# iter: 9 test accuracy: 0.977
# iter: 10 test accuracy: 0.9809

     从上面程序输入结果看出预测的准确率也较高，当然这个程序不能反映出LSTM本身的功能，只演示出了计算的过程。

     
     
     
     
【参考】：
     1. 城市数据团课程《AI工程师》计算机视觉方向
     2. deeplearning.ai 吴恩达《深度学习工程师》
     3. 《机器学习》作者：周志华
     4. 《深度学习》作者：Ian Goodfellow

---

转载声明：
版权声明：非商用自由转载-保持署名-注明出处
署名 ：mcyJacky
文章出处：https://blog.csdn.net/mcyJacky