深度学习 | 实战9- 参数正则化
————————————————————————————
原文发表于夏木青 | JoselynZhao Blog，欢迎访问博文原文。
————————————————————————————
Github源码
深度学习教程与实战案列系列文章
深度学习 | 绪论
深度学习 | 线性代数基础
深度学习 | 机器学习基础
深度学习 | 实践方法论
深度学习 | 应用
深度学习 | 安装conda、opencv、pycharm以及相关问题
深度学习 | 工具及实践（TensorFlow）
深度学习 | TensorFlow 命名机制和变量共享、变量赋值与模型封装
深度学习 | TFSlim介绍
深度学习 | TensorFlow可视化
深度学习 | 训练及优化方法
深度学习 | 模型评估与梯度下降优化
深度学习 | 物体检测
深度学习| 实战1-python基本操作
深度学习 | 实战2-TensorFlow基础
深度学习 | 实战3-设计变量共享网络进行MNIST分类
深度学习 | 实战4-将LENET封装为class，并进行分类
深度学习 | 实战5-用slim 定义Lenet网络，并训练测试
深度学习 | 实战6-利用tensorboard实现卷积可视化
深度学习 | 实战7- 连体网络MINIST优化
深度学习 | 实战8 - 梯度截断
深度学习 | 实战9- 参数正则化
要求
参数正则化
（一）要求：训练MNIST分类模型，比较不同学习率情况下，loss的收敛情况和实际精度acc的变化情况。比较添加参数正则化方法防止模型过拟合的效果。
模型结构要求：使用如下全连接网络：
def model(x):
w1=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(784,1500))
w2=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(1500,1000))
w3=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(1000,500),name='w3')
w4=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(500,10),name='w4')
b1=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(1500))
b2=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(1000))
b3=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(500))
b4=tf.Variable(dtype=tf.float32, initial_value=np.random.rand(10))
fc1=tf.nn.relu(tf.matmul(x,w1)+b1)
fc2=tf.nn.relu(tf.matmul(fc1,w2)+b2)
fc3=tf.nn.relu(tf.matmul(fc2,w3)+b3)
fc4=tf.matmul(fc3,w4)+b4
return fc4
参数设置：batchsize=64, 迭代30000次，使用AdamOptimizer
实验内容：1. 比较学习率lr=0.0001 和lr=0.005时的网络学习效果。画出training loss, validation loss, validation acc曲线（每100次迭代记一下。为了更容易看出后期起伏效果，可单独再绘制一条曲线，不包含前20个左右的记录点（loss快速降落的区域）使得后期变化能够加显著的被可视化。）。给出最终网络的test acc以及 网络中w1,w2,w3,w4的参数矩阵可视化图。观察，是否某些lr会在训练中间，有精度先上升并保持一段时间（acc甚至到0.95左右维持一段时间），后来acc又开始下降，但loss却一直保持下降的情况？其他规律？不同lr最后的收敛效果？（感兴趣的可以看一下lr=0.05，lr=0.00005的情况）
- 比较lr=0.005时，使用参数正则化和不使用参数正则化（l2正则化推荐lamda 0.0005）的训练效果。画出training loss, validation loss, validation acc曲线（每100次迭代记一下）。给出最终网络的test acc以及 网络中w1,w2,w3,w4的参数矩阵可视化图。正则化是否提升了网络训练效果？参数矩阵比较，是否稀疏化了？
提交：1. 实验报告：包括如上所要求曲线图、参数可视化图以及其他要求数据；实验截图。2. 代码。
实验与结果
运行截图
图 1运行截图
比较学习率lr=0.0001 和lr=0.005时的网络学习效果
图 2 lr = 0.005 时的accuracy
图 3 lr = 0.005 时的loss
图 4 lr = 0.005时 参数矩阵可视化图
图 5 lr = 0.0001 时的accuracy
图 6 lr = 0.0001 时的loss
图 7 lr = 0.0001 时的参数矩阵可视化图
比较lr=0.005时，使用参数正则化和不使用参数正则化的训练效果
参数正则化的accuracy 、loss、参数矩阵可视化图分别如图2，图3，图4所示。
不使用参数正则化的效果如下。
图 8 无正则化 accuracy
图 9 无正则化 loss
图 10 无正则化参数矩阵可视化图
网络在无正则化的情况下test acc为0.88，正则化之后为0.92.
正则化的使用提升了网络训练效果，参数矩阵稀疏化了。
源码展示
def model(x):
w1 = tf.Variable(dtype=tf.float32, initial_value=np.random.rand(784, 1500),name='w1')
w2 = tf.Variable(dtype=tf.float32, initial_value=np.random.rand(1500, 1000),name ='w2')
w3 = tf.Variable(dtype=tf.float32, initial_value=np.random.rand(1000, 500), name='w3')
w4 = tf.Variable(dtype=tf.float32, initial_value=np.random.rand(500, 10), name='w4')
b1 = tf.Variable(dtype=tf.float32, initial_value=np.random.rand(1500))
b2 = tf.Variable(dtype=tf.float32, initial_value=np.random.rand(1000))
b3 = tf.Variable(dtype=tf.float32, initial_value=np.random.rand(500))
b4 = tf.Variable(dtype=tf.float32, initial_value=np.random.rand(10))
fc1 = tf.nn.relu(tf.matmul(x, w1) + b1)
fc2 = tf.nn.relu(tf.matmul(fc1, w2) + b2)
fc3 = tf.nn.relu(tf.matmul(fc2, w3) + b3)
fc4 = tf.matmul(fc3, w4) + b4
return fc4
if __name__ =="__main__":
iteratons = 30000
batch_size = 64
ma = 0
sigma = 0.1
lr = 0.005
input_image = tf.placeholder(tf.float32, [None, 784])
input_label = tf.placeholder(tf.float32, [None, 10])
logits = model(input_image)
# 注意，使用softmax_cross_entropy_with_logits_v2时，logits对应fc直接输出，不要再加softmax
loss = tf.nn.softmax_cross_entropy_with_logits_v2(labels=input_label, logits=logits)
loss = tf.reduce_mean(loss)
tv = tf.trainable_variables()
lambda_l = 0.0005
Regularization_term = lambda_l * tf.reduce_sum([tf.nn.l2_loss(v) for v in tv])
loss = Regularization_term + loss
train_op = tf.train.AdamOptimizer(lr).minimize(loss)
# 准确率
correct_prediction = tf.equal(tf.argmax(tf.nn.softmax(logits), 1), tf.argmax(input_label, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
iteration_index = []
tr_loss = []
tr_acc =[]
valid_acc = []
valid_loss = []
with tf.Session() as sess:
mnist = input_data.read_data_sets('../../../data/mnist', one_hot=True)
sess.run(tf.global_variables_initializer())
validation_images = mnist.validation.images
validation_labels = mnist.validation.labels
test_images = mnist.test.images
test_labels = mnist.test.labels
for ii in range(iteratons):
batch_xs, batch_ys = mnist.train.next_batch(batch_size)
sess.run(train_op, feed_dict={input_image: batch_xs, input_label: batch_ys})
if ii % 100 == 99:
train_loss,train_accu = sess.run([loss,accuracy], feed_dict={input_image: batch_xs, input_label: batch_ys})
validation_loss,validation_accu = sess.run([loss,accuracy],
feed_dict={input_image: validation_images, input_label: validation_labels})
print("Iter [%5d/%5d]: train acc is: %4f train loss is: %4f valid acc is :%4f valid loss is: %4f" % (ii, iteratons, train_accu, train_loss, validation_accu,validation_loss))
if ii>2000:
iteration_index.append(ii)
tr_loss.append(train_loss)
tr_acc.append(train_accu)
valid_acc.append(validation_accu)
valid_loss.append(validation_loss)
acc = sess.run(accuracy,feed_dict={input_image: test_images,input_label: test_labels})
print("Test: accuracy is %4f" % (acc))
plt.plot(iteration_index, tr_loss, 'r', label="train_loss")
plt.plot(iteration_index, valid_loss, 'g',label ="valid_loss")
plt.xlabel("iteration")
plt.ylabel("loss")
plt.legend()
plt.title("result_loss")
plt.savefig('./result_loss3.png')
plt.show()
plt.plot(iteration_index, tr_acc, 'r', label="train_acc")
plt.plot(iteration_index, valid_acc, 'g',label ="valid_acc")
plt.xlabel("iteration")
plt.ylabel("accuracy")
plt.legend()
plt.title("result_acc")
plt.savefig('./result_acc3.png')
plt.show()
plt.figure()
for i in range(1,5,1):
w1=sess.run('w'+str(i)+':0')
w1_min = np.min(w1)
w1_max = np.max(w1)
w1_0_to_1 = (w1 - w1_min) / (w1_max - w1_min)
plt.subplot(2,2,i-1)
plt.title('w'+str(i))
plt.imshow(w1_0_to_1)
plt.savefig('./weight3.png')
plt.show()