学习率输出结果:
0.0933033 1
0.08705506 2
0.08122524 3
0.07578583 4
0.07071068 5
0.06597539 6
0.061557222 7
0.057434916 8
0.05358867 9
0.05 10
学习率在不断的更新;这说明global_steps的值在不断的更新;
将上述代码中的train_step修改如下:
train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
学习率输出结果:
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
0.1 0
学习率不变化,全局步数也没有变化
train_step = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
for i in range(10):
sess.run(train_step, feed_dict={x:np.linspace(1,2,10).reshape([10,1]),\
y:np.linspace(1,2,10).reshape([10,1])})
sess.run(tf.assign(global_steps,i))
print(sess.run(learning_rate),sess.run(global_steps))
输出:
0.1 0
0.0933033 1
0.08705506 2
0.08122524 3
0.07578583 4
0.07071068 5
0.06597539 6
0.061557222 7
0.057434916 8
0.05358867 9
global_steps = tf.Variable(0, trainable=False)
dd=global_steps
print(sess.run(learning_rate),sess.run(global_steps),sess.run(dd))
结果输出:
0.1 0 0
0.0933033 1 1
0.08705506 2 2
0.08122524 3 3
0.07578583 4 4
0.07071068 5 5
0.06597539 6 6
0.061557222 7 7
0.057434916 8 8
0.05358867 9 9
tf.variable赋值后,改变其一,另一个也跟着改变;说明两者保存相同的内存地址;而且learning_rate变化也证明了这一点;我只是改变global_step这个变量,并没有再传值到learning_rate这个函数,但也影响了learning_rate这个函数了,因为learning_rate这个函数中的参数保存了与global_step共同的地址;变量赋值操作后,最本质的是要看保存的内存地址是否一致;这里有一个错误的认识,以为值传入到了函数内部,函数内部的更新操作无法影响到函数外部的变量;
结论:minimize函数中global_step参数值每次迭代都会更新,而tf.variable的赋值操作是两个变量共享内存;等同于第三段代码;不同的是第一次传递进去时已经变成了1;