【TensorFlow实战】8.卷积神经网络（2）------LeNet-5模型

LeNet-5模型时Yann LeCun教授于1998年在论文Gradient-bashed learning applied to document recognition中提出的，它是第一个成功应用于数字识别问题的卷积神经网络。在MNIST数据集上，LeNet-5模型可以达到99.2%的正确率。LeNet-5模型总共有7层，下图是LeNet-5模型的架构。

下面介绍LeNet-5模型的每一层结构。

第一层，卷积层

这一层的输入就是原始图像的像素，LeNet-5模型接受的输入层大小为32x32x1。第一个卷积层卷积核的尺寸为5x5，深度为6,不使用全0填充，步长为1。因为没有使用全0填充，所以这一层的输出的尺寸为32-5+1=28，深度为6。这一个卷积层总共有5x5x1x6+6=156个参数，其中6个为偏置项参数。因为下一层的节点矩阵有28x28x6=4704个节点，每个节点和5x5=25个当前层节点相连，所以本层卷积层共有4704x(25+1)=122304个连接。

第二层，池化层

这一层的输入为第一层的输出，是一个28x28x6的节点矩阵。本层采用的过滤器大小为2x2，长和宽的步长均为2，所以本层的输出矩阵大小为14x14x6。

第三层，卷积层

本层的输入矩阵大小为14x14x6，使用的过滤器大小为5x5，深度为16。本层不使用全0填充，步长为1。本层的输出矩阵大小为10x10x16。按照标准的卷积层，本层应该有5x5x6x16+16=2416个参数，10x10x16x(25+1)=41600个连接。

第四层，池化层

本层的输入矩阵大小为10x10x16，采用的过滤器大小为2x2，步长为2。本层的输出矩阵大小为5x5x16。

第五层，全连接层

本层的输入矩阵大小为5x5x16，在LeNet-5模型的论文中将这一层称为卷积层，但是因为过滤器的大小为5x5,所以和全连接层没有任何区别，在之后的TensorFlow程序实现也会将这一层看成全连接层。本层的输出节点个数为120，总共有5x5x16x120+120=48120个参数。

第六层，全连接层

本层的输入节点个数为120个，输出节点个数为84个，总共参数为120个，输出节点为84个，总共参数为120x84+84=10164个。

第七层，全连接层

本层的输入节点个数为84个，输出节点为10个，总共参数为84x10+10=850个。

下面就是TensorFlow实现的一个LeNet-5模型。可以复用之前解决MNIST问题的代码，但需要做一些调整。mnist_train.py做一下调整，因为卷积神经网络的输入层为一个三维矩阵，所以需要调整一下输入数据的格式：

#定义输入输出placeholder
	x = tf.placeholder(tf.float32, [
					BATCH_SIZE,		     #第一维表示一个batch中样例的个数
					mnist_inference.IMAGE_SIZE,  #第二维和第三维表示图片的尺寸
					mnist_inference.IMAGE_SIZE,  
					mnist_inference.NUM_CHANNELS],#第四维表示图派你的深度，对伊RGB格式的
								      #图片，深度为5
					name='x-input')

类似地将输入的训练数据格式调整为一个四维矩阵，并将这个调整后的数据传入sess.run过程。

reshaped_xs = np.reshape(xs, (BATCH_SIZE,
						      mnist_inference.IMAGE_SIZE,
							mnist_inference.IMAGE_SIZE,
							mnist_inference.NUM_CHANNELS))

下面是完整的修改后的mnist_train.py代码：

#定义了神经网络的训练过程
import os

import tensorflow as tf
import numpy as np
from tensorflow.examples.tutorials.mnist import input_data

#加载mnist_inference.py中定义的常量和前向传播的函数
import mnist_inference

#配置神经网络的参数
BATCH_SIZE = 100
LEARNING_RATE_BASE = 0.8
LEARNING_RATE_DECAY = 0.99
REGULARAZTION_RATE = 0.0001
TRAINING_STEPS = 5000
MOVING_AVERAGE_DECAY = 0.99
#模型保存的路径和文件名
MODEL_SAVE_PATH = "/home/fboy/code/tensorBook/6/6.4/LeNet-5/model/"
MODEL_NAME = "model.ckpt"

def train(mnist):
	#定义输入输出placeholder
	x = tf.placeholder(tf.float32, [
					BATCH_SIZE,		     #第一维表示一个batch中样例的个数
					mnist_inference.IMAGE_SIZE,  #第二维和第三维表示图片的尺寸
					mnist_inference.IMAGE_SIZE,  
					mnist_inference.NUM_CHANNELS],#第四维表示图派你的深度，对伊RGB格式的
								      #图片，深度为5
					name='x-input')
	y_ = tf.placeholder(tf.float32, [None, mnist_inference.OUTPUT_NODE], name='y-input')
	
	regularizer = tf.contrib.layers.l2_regularizer(REGULARAZTION_RATE)
	#直接使用mnist_inference.py中定义的前向传播过程
	y = mnist_inference.inference(x, train, regularizer)
	global_step = tf.Variable(0, trainable=False)
	
	#定义损失函数，学习率，滑动平均操作及训练过程
	variable_averages = tf.train.ExponentialMovingAverage(MOVING_AVERAGE_DECAY, global_step)
	variables_averages_op = variable_averages.apply(tf.trainable_variables())
	cross_entropy = tf.nn.sparse_softmax_cross_entropy_with_logits(logits=y, labels=tf.argmax(y_, 1))
	cross_entropy_mean = tf.reduce_mean(cross_entropy)
	loss = cross_entropy_mean + tf.add_n(tf.get_collection('losses'))
	learning_rate = tf.train.exponential_decay(LEARNING_RATE_BASE, global_step, mnist.train.num_examples/BATCH_SIZE, LEARNING_RATE_DECAY)
	train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_step)
	with tf.control_dependencies([train_step, variables_averages_op]):
		train_op = tf.no_op(name='train')
	
	#初始化TensorFlow持久化类
	saver = tf.train.Saver()
	with tf.Session() as sess:
		tf.initialize_all_variables().run()
		#在训练过程中不再测试模型在验证数据集上的表现，验证和测试的过程将会有一个独立的程序来完成
		for i in range(TRAINING_STEPS):
			xs, ys = mnist.train.next_batch(BATCH_SIZE)
			reshaped_xs = np.reshape(xs, (BATCH_SIZE,
						      mnist_inference.IMAGE_SIZE,
							mnist_inference.IMAGE_SIZE,
							mnist_inference.NUM_CHANNELS))
			_, loss_value, step = sess.run([train_op, loss, global_step], feed_dict={x: reshaped_xs, y_: ys})
			#每1000轮保存一次模型
			if i%1000==0:
				#输出当前的训练情况，这里只输出了模型在当前训练batch上的损失函数大小
				#通过损失函数大小可以大概了解训练的情况，在验证数据集上的正确率信息会有一个
				#单独的程序来生成
				print("After %d training step(s), loss on training" "batch is %g." % (step, loss_value))
				#保存当前的模型，注意这里给出了global_step参数，这样可以让每个被保存的模型的文件
				#名末尾加上训练的轮数，比如”model.ckpt-1000“表示训练1000轮之后得到的模型
				saver.save(sess, os.path.join(MODEL_SAVE_PATH, MODEL_NAME), global_step=global_step)

def main(argv=None):
	mnist = input_data.read_data_sets("/tmp/data", one_hot=True)
	train(mnist)
if __name__ == '__main__':
	tf.app.run()
	

下面是修改后的mnist_inference.py代码：

#定义了前向传播的过程以及神经网络中的参数
import tensorflow as tf

#配置神经网络的参数
INPUT_NODE = 784
OUTPUT_NODE = 10

IMAGE_SIZE = 28
NUM_CHANNELS = 1
NUM_LABELS = 10

#第一层卷积层的尺寸和深度
CONV1_DEEP = 32
CONV1_SIZE = 5
#第二层卷积层的尺寸和深度
CONV2_DEEP = 64
CONV2_SIZE = 5
#全连接层的节点个数
FC_SIZE = 512


#定义卷积神经网络的前向传播过程。这里添加了一个新的参数train，用于区分训练过程和测试过程。
#在这个程序中用到dropout方法，dropout可以进一步提升模型可靠性并且防止过拟合，
#dropout只能在训练时使用
def inference(input_tensor, train, regularizer):
	#声明第一层卷积层的变量并实现前向传播过程。
	#通过使用不同的命名空间来隔离不同层的变量，可以让每一层的变量名只需要考虑在当前层的作用，而不需要
	#担心命名冲突问题。和标准的LeNet-5模型不太一样，这里定义的卷积层输入为28x28x1的原始MNIST图像像素。
	#应为卷积层中使用了全0填充，所以输出为28x28x32的矩阵
	with tf.variable_scope('layer1-conv1'):
		conv1_weights = tf.get_variable("weight", [CONV1_SIZE, CONV1_SIZE, NUM_CHANNELS, CONV1_DEEP],
						initializer = tf.truncated_normal_initializer(stddev=0.1))
		conv1_biases = tf.get_variable("bias", [CONV1_DEEP], initializer=tf.constant_initializer(0.0))
		
		#使用边长为5,深度为32的过滤器，过滤器移动的步长为1,且使用全0填充
		conv1 = tf.nn.conv2d(input_tensor, conv1_weights, strides=[1,1,1,1],padding='SAME')
		relu1 = tf.nn.relu(tf.nn.bias_add(conv1, conv1_biases))
	
	#实现第二层池化层的前向传播。这里选用最大池化，池化层过滤器的边长为2,
	#使用全0填充且移动步长为2，。这一程的输入是上一层的输出，即28x28x32的矩阵。输出为14x14x32的矩阵
	with tf.name_scope('layer2-pool1'):
		pool1 = tf.nn.max_pool(relu1, ksize=[1, 2, 2, 1], strides=[1, 2, 2, 1], padding='SAME')
	
	#声明第三层卷积层的变量并实现前向传播过程。这一层的输入为14x14x32矩阵，输出为14x14x64的矩阵
	with tf.variable_scope('layer3-conv2'):
		conv2_weights = tf.get_variable("weight", [CONV2_SIZE, CONV2_SIZE, CONV1_DEEP, CONV2_DEEP],
						initializer=tf.truncated_normal_initializer(stddev=0.1))
		conv2_biases = tf.get_variable("bias", [CONV2_DEEP],initializer=tf.constant_initializer(0.0))
		
		#使用边长为5,深度为64的过滤器，过滤器边步长为1,且使用全0填充
		conv2 = tf.nn.conv2d(pool1, conv2_weights, strides=[1,1,1,1], padding='SAME')
		relu2 = tf.nn.relu(tf.nn.bias_add(conv2, conv2_biases))
	
	#实现第四层池化层的前向传播。这一层和第二层的结构是一样的。这一层的输入为14x14x64的矩阵，输出为7x7x64
	with tf.name_scope('layer4-pool2'):
		pool2 = tf.nn.max_pool(relu2, ksize=[1,2,2,1], strides=[1,2,2,1], padding='SAME')
	#将第四层池化层的输出转化为第五层的全连接层的输入格式。第四层的输出为7x7x64的矩阵
	#然而第五层全连接层需要的输入格式为向量，所以在这里需要将这个7x7x64矩阵拉成一个向量。
	#pool2.get_shape函数可以得到第四层输出矩阵的维度而不需要手工计算。注意因为每一层神经网络的输入输出
	#都为一个batch的矩阵，所以这里得到的维度也包含了一个batch中数据的个数
	pool_shape = pool2.get_shape().as_list()
	#计算将矩阵拉成向量之后的长度，这个长度就是矩阵长宽及深度的乘积。注意这里pool_shape[0]为一个batch中数据
	#的个数
	nodes = pool_shape[1] * pool_shape[2] * pool_shape[3]
	#通过tf.reshape函数将第四层的输出变成一个batch的向量
	reshaped = tf.reshape(pool2, [pool_shape[0], nodes])

	#声明第五层全连接层的变量并实现前向传播过程。这一层的输入是拉直之后的一组向量，
	#向量的长度为3136,输出是一组长度为512的向量。这一层和之前MNIST中的基本一致，唯一的区别在于
	#引入了dropout的概念。dropout在训练时会随机将部分节点的输出改为0。dropout可以避免过拟合问题，
	#从而得到模型在测试数据集上的效果更好。dropout一般只会在全连接层而不是卷积层或者池化层使用
	with tf.variable_scope('layer5-fc1'):
		fc1_weights = tf.get_variable("weight", [nodes, FC_SIZE], initializer=tf.truncated_normal_initializer(stddev=0.1))
	#只有全连接层的权重需要重新加入正则化
	if regularizer != None:
		tf.add_to_collection('losses', regularizer(fc1_weights))
	fc1_biases = tf.get_variable("bias", [FC_SIZE], initializer=tf.constant_initializer(0.1))
	fc1 = tf.nn.relu(tf.matmul(reshaped, fc1_weights) + fc1_biases)
	if train: fc1 = tf.nn.dropout(fc1, 0.5)

	#声明第六层全连接层的变量并实现前向传播过程。这一层的输入长度为512的向量
	#输出为一组长度为10的向量。这一层的输出通过Softmax之后就得到了最后的分类结果
	with tf.variable_scope('layer6-fc2'):
		fc2_weights = tf.get_variable("weight", [FC_SIZE, NUM_LABELS], initializer=tf.truncated_normal_initializer(stddev=0.1))
		if regularizer != None:
			tf.add_to_collection('losses', regularizer(fc2_weights))
		fc2_biases = tf.get_variable("bias", [NUM_LABELS], initializer=tf.constant_initializer(0.1))
		logit = tf.matmul(fc1, fc2_weights) + fc2_biases
	#返回第六层的输出
	return logit

通过运行mnist_train.py可以发现在处理MNIST手写字体识别问题时，准确率提升了。