TensorFlow 学习率 learning rate 指数衰减法。

TensorFlow 学习率 learning rate的设置：指数衰减法。

函数：tr.train.exponential_decay

    初始时使用较大的学习率较快地得到较优解，随着迭代学习率呈指数逐渐减小。

    

decayed_learning_rate = learning_rate*(decay_rate^(global_steps/decay_steps)

    其中：decay_steps为衰减速度，可以理解为完整使用一遍训练数据所需要的迭代次数。等于总样本数/每个batch训练样本数。其实质为每完整过完一遍训练数据，学习率减小一次。从而达到该次训练中，所有的数据对训练模型具有相同的作用。这也是程序中staircase设置为true的原因。

import tensorflow as tf
import matplotlib.pyplot as plt

learning_rate = 0.1  # 学习速率L
decay_rate = 0.8  # 衰减速率，即每一次学习都衰减为原来的0.8
global_steps = 1000  # 总学习次数
# 如果staircase为True,那么每decay_steps改变一次learning_rate，
# 改变为learning_rate*(decay_rate^(global_steps/decay_steps)
# 如果为False则，每一步都改变
decay_steps = 100  

global_ = tf.placeholder(dtype=tf.int32)
# 如果staircase=True，那么每decay_steps更新一次decay_rate，如果是False那么每一步都更新一次decay_rate。
c = tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=True)
d = tf.train.exponential_decay(learning_rate, global_, decay_steps, decay_rate, staircase=False)

T_C = []
F_D = []

with tf.Session() as sess:
    for i in range(global_steps):
        T_c = sess.run(c, feed_dict={global_: i})
        T_C.append(T_c)
        F_d = sess.run(d, feed_dict={global_: i})
        F_D.append(F_d)

plt.figure(1)
l1, = plt.plot(range(global_steps), F_D, 'r-')  # staircase=False
l2, = plt.plot(range(global_steps), T_C, 'b-')  # staircase=True

plt.legend(handles=[l1, l2, ], labels=['staircase=False', 'staircase=True'],
           loc='best', ) 
plt.show()