L2正则化和collection，tf.GraphKeys

L2-Regularization 实现的话，需要把所有的参数放在一个集合内，最后计算loss时，再减去加权值。

相比自己乱搞，代码一团糟，Tensorflow 提供了更优美的实现方法。

一、tf.GraphKeys ： 多个包含Variables(Tensor)集合

（1）GLOBAL_VARIABLES：使用tf.get_variable()时，默认会将vairable放入这个集合。

   我们熟悉的tf.global_variables_initializer()就是初始化这个集合内的Variables。

import tensorflow as tf

sess=tf.Session()

a=tf.get_variable("a",[3,3,32,64],initializer=tf.random_normal_initializer())

b=tf.get_variable("b",[64],initializer=tf.random_normal_initializer())

#collections=None等价于 collection=[tf.GraphKeys.GLOBAL_VARIABLES]

print("I am a:", a)

print("I am b:", b)

print("I am gv:", tf.GraphKeys.GLOBAL_VARIABLES)

gv= tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)

#tf.get_collection(collection_name)返回某个collection的列表

print("I am gv:", gv)

for var in gv:

      print("Iam var:",var)

       print(var is a)

      print(var.get_shape())

      print("----------------")

输出如下图所示：

Tips: tf.GraphKeys.GLOBAL_VARIABLES == "variable"。即其保存的是一个字符串。所以，我们也可以自己定义集合，然后用 tf.get_collection（“string_name”）获取集合变量，详细看下面内容。

（2）自定义集合

   想个集合的名字，然后在tf.get_variable时，把集合名字传给 collection 就好了。

import tensorflow as tf

sess=tf.Session()

a=tf.get_variable("a",shape=[10],collections=["mycollection"]) #不把GLOBAL_VARIABLES加进去，那么就不在那个集合里了。

b=tf.get_variable("b",shape=[10],collections=["mycollection"]) #不把GLOBAL_VARIABLES加进去，那么就不在那个集合里了。

keys=tf.get_collection("mycollection")

print("keys:", keys)

for key in keys:

      print(key.name)##也就是变量的名字

输出结果如下图所示：

二、L2正则化

先看看tf.contrib.layers.l2_regularizer(weight_decay)都执行了什么：

import tensorflow as tf

sess=tf.Session()

weight_decay=0.1

tmp=tf.constant([0,1,2,3],dtype=tf.float32)

"""

l2_reg=tf.contrib.layers.l2_regularizer(weight_decay)

a=tf.get_variable("I_am_a",regularizer=l2_reg,initializer=tmp)

"""

#**上面代码的等价代码**************************

a=tf.get_variable("I_am_a",initializer=tmp)

a2=tf.reduce_sum(a*a)*weight_decay/2;

a3=tf.get_variable(a.name.split(":")[0]+"/Regularizer/l2_regularizer",initializer=a2)

tf.add_to_collection(tf.GraphKeys.REGULARIZATION_LOSSES,a3)

#****************************************************

####把上面这四行屏蔽了，把上面的上面2行代码解除屏蔽，得到的结果完全一样

sess.run(tf.global_variables_initializer())

keys = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)

for key in keys:

  print("%s : %s" %(key.name,sess.run(key)))

输出结果：

我们很容易可以模拟出tf.contrib.layers.l2_regularizer都做了什么，不过会让代码变丑。

以下比较完整实现L2 正则化。

import tensorflow as tf

sess=tf.Session()

weight_decay=0.1                                                #(1)定义weight_decay

l2_reg=tf.contrib.layers.l2_regularizer(weight_decay)          #(2)定义l2_regularizer()

tmp=tf.constant([0,1,2,3],dtype=tf.float32)

a=tf.get_variable("I_am_a",regularizer=l2_reg,initializer=tmp)  #(3)创建variable，l2_regularizer复制给regularizer参数。

                                                                #目测REXXX_LOSSES集合

#regularizer定义会将a加入REGULARIZATION_LOSSES集合

print("Global Set:")

keys = tf.get_collection("variables")

for key in keys:

  print(key.name)

print("Regular Set:")

keys = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)

for key in keys:

  print(key.name)

print("--------------------")

sess.run(tf.global_variables_initializer())

print(sess.run(a))

reg_set=tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)  #(4)则REGULARIAZTION_LOSSES集合会包含所有被weight_decay后的参数和，将其相加

l2_loss=tf.add_n(reg_set)

print("loss=%s" %(sess.run(l2_loss)))

"""

此处输出0.7,即:

  weight_decay*sigmal(w*2)/2=0.1*(0*0+1*1+2*2+3*3)/2=0.7

其实代码自己写也很方便，用API看着比较正规。

在网络模型中，直接将l2_loss加入loss就好了。(loss变大，执行train自然会decay)

"""