【tensorflow 大马哈鱼】tf.get_variable()和tf.Variable()的区别

1. tf.Variable()

W = tf.Variable(, name=)
''' '''
W = tf.Variable( tf.zeros ([2,1]) )
W = tf.Variable(tf.random_uniform([1, 2], -1.0, 1.0))
W = tf.Variable( [2,3] , name = 'count' ) #常量[2,3],不是形状

用于生成一个初始值为initial-value的变量。必须指定初始化值

2.tf.get_variable()

W = tf.get_variable(name, shape=None, dtype=tf.float32, initializer=None,
       regularizer=None, trainable=True, collections=None) 
''' '''
initializer = tf.constant_initializer(value=1)
var1 = tf.get_variable(name='var1', shape=[1], dtype=tf.float32, initializer=initializer)

获取已存在的变量（要求不仅名字，而且初始化方法等各个参数都一样），如果不存在，就新建一个。

可以用各种初始化方法，不用明确指定值。

3.区别

推荐使用tf.get_variable(), 因为：

1. 初始化更方便

比如用xavier_initializer: 

W = tf.get_variable("W", shape=[784, 256],
       initializer=tf.contrib.layers.xavier_initializer())

2. 方便共享变量

因为tf.get_variable() 会检查当前命名空间下是否存在同样name的变量，可以方便共享变量。而tf.Variable 每次都会新建一个变量。

需要注意的是tf.get_variable() 要配合reuse和tf.variable_scope() 使用。 

---

4. 举个例子

4.1 首先介绍一下tf.variable_scope().

如果已经存在的变量没有设置为共享变量，TensorFlow 运行到第二个拥有相同名字的变量的时候，就会报错。为了解决这个问题，TensorFlow 提出了 tf.variable_scope 函数：它的主要作用是，在一个作用域 scope 内共享一些变量，举个简单的栗子：

with tf.variable_scope("foo"):
    v = tf.get_variable("v", [1]) #v.name == "foo/v:0"

简单来说就是给变量名前再加了个变量空间名。

4.2 对比

接下来看看怎么用tf.get_variable()实现共享变量：

with tf.variable_scope("one"):
    a = tf.get_variable("v", [1]) #a.name == "one/v:0"
with tf.variable_scope("one"):
    b = tf.get_variable("v", [1]) #创建两个名字一样的变量会报错 ValueError: Variable one/v already exists 
with tf.variable_scope("one", reuse = True): #注意reuse的作用。
    c = tf.get_variable("v", [1]) #c.name == "one/v:0" 成功共享，因为设置了reuse

assert a==c #Assertion is true, they refer to the same object.

with tf.variable_scope('var_scope') as scope:
    v = tf.get_variable(name='v', shape=[1], initializer=tf.zeros_initializer)
with tf.variable_scope(scope, reuse=True):
    v1 = tf.get_variable(name='v', shape=[1], initializer=tf.zeros_initializer)
sess = tf.Session()
sess.run(tf.global_variables_initializer())

assert v == v1
print(v.name)   #var_scope/v:0
print(v1.name)  #var_scope/v:0

在一个命名空间内reuse

注意代码：scope.reuse_variables()，声明下一个是reuse变量

with tf.variable_scope("a_variable_scope") as scope:
    initializer = tf.constant_initializer(value=3)
    var3 = tf.get_variable(name='var3', shape=[1], dtype=tf.float32, initializer=initializer)
    var4 = tf.Variable(name='var4', initial_value=[4], dtype=tf.float32)
    var4_reuse = tf.Variable(name='var4', initial_value=[4], dtype=tf.float32)
    scope.reuse_variables()     #声明下一个是reuse变量
    var3_reuse = tf.get_variable(name='var3',)

with tf.Session() as sess:
    init = tf.global_variables_initializer()
    sess.run(init)
    print(var3.name)            # a_variable_scope/var3:0
    print(sess.run(var3))       # [ 3.]
    print(var4.name)            # a_variable_scope/var4:0
    print(sess.run(var4))       # [ 4.]
    print(var4_reuse.name)      # a_variable_scope/var4_1:0
    print(sess.run(var4_reuse)) # [ 4.]
    print(var3_reuse.name)      # a_variable_scope/var3:0
    print(sess.run(var3_reuse)) # [ 3.]

然后看看如果用tf.Variable() 会有什么效果：

如下例，tf.Variable()可以使用相同的name重复定义，但却是两个变量。

而get_variable不可以重复定义。

with tf.variable_scope("two"):
    d = tf.get_variable("v", [1]) #d.name == "two/v:0"
    e = tf.Variable(1, name = "v", expected_shape = [1]) #e.name == "two/v_1:0" 
    f = tf.Variable(1, name = "v", expected_shape = [1]) #f.name == "two/v_2:0"   

assert d==e #AssertionError: they are different objects

assert e==f #AssertionError: they are different objects

可以看到，同样的命名空间（‘two’）和名字（v），但是d和e的值却不一样。

Reference:

1. https://stackoverflow.com/questions/37098546/difference-between-variable-and-get-variable-in-tensorflow

2. https://www.tensorflow.org/versions/r1.2/api_docs/python/tf/variable_scope

3. http://blog.csdn.net/u013645510/article/details/53769689