tensorFlow中的session和graph

前言：

学习用FTensorFlow搭建NN框架以来，一直习惯逐层叠加的方式。 最近在做udacity的作业的时候，发现一种新的语句tf.Graph().as_default()。该文尝试分析两者的关系

tf.Session()

tf.Session()使我们初学者的最多的构建TensorFlow的graph然后执行的方式如：

input = tf.placeholder(tf.float32, shape=(None,1024, 1024))
output = tf.nn.conv2d(input, filter, strides, padding)
output = tf.nn.relu(output)
.......

#按照网络结构，一层一层的叠加上去, 最后使用```sess.run()```执行.
with tf.Session() as sess:
  sess.run(....)
  ......
  print(...)
# Close the Session when we're done.
sess.close()

释放Tensorflow暂用内存：sess.close()

对于一个session，tf会一直hold所占用的内存，DL的input一般都非常大，所以在进行完一次实验之后，尤其是interactive模式中，务必要把session关闭，再进行下一次实验，否则内存很有可能会爆掉。
之前在AWS运行完一个graph，然后打开另一个graph运行的时候，一直OMM错误。无奈每次都要stop一个instance然后重新start。后来才知道sess.close()这一释放内存的神奇命令，就方便多了。

tf.Graph()

Tensorflow是基于Graph计算的，我们用上面的一层层叠加的方式建立起来的网络，全部构建在tf的默认graph中，可以通过g= tf.get_default_graph()获得其句柄，可以对比下面两句的输出结果：

c = tf.constant(4.0)
print(c.graph) 
print(tf.get_default_graph())

如果需要显示声明graph，可以使用tf.Graph().as_default() 来进行显式graph声明一个default graph:

with tf.Graph().as_default() as g:
  c = tf.constant(5.0)
  print(c.graph) 
  print(g)

这里tf.Graph().as_default() 是一个上下文管理器（context manager)，它能够在这个上下文里面覆盖默认的图。

import tensorflow as tf
import numpy as np

c=tf.constant(value=1)
#print(assert c.graph is tf.get_default_graph())
print(c.graph)
print(tf.get_default_graph())

g=tf.Graph()
print("g:",g)
with g.as_default():
    d=tf.constant(value=2)
    print(d.graph)
    #print(g)

g2=tf.Graph()
print("g2:",g2)
g2.as_default()
e=tf.constant(value=15)
print(e.graph)

我们发现，通过g=tf.Graph()用来创建一个Graph并获得句柄g。当我们需要在这个新创建的Graph中建立、添加或修改结构的时候，需要先用g.as_default()将其设置为当前（默认）Graph, 如：

# Create the graph object
graph = tf.Graph()
# Add nodes to the graph
with graph.as_default()
      inputs_ = tf.placeholder(tf.int32, [None, None], name='inputs')
      labels_ = tf.placeholder(tf.int32, [None, None], name='labels')
      keep_prob = tf.placeholder(tf.float32, name='keep_prob')
  ...

Why？？？？

这么做有一个好处，我们可以将一个巨大的复杂的网络分割成多个小的网络，每个网络对应一个graph，如经典的Faster RCNN结构，大概可以分为features network (标准的CNN结构，负责特征学习，如VGG16， Resnet)，RPN（region proposal network）和最终负责classification以及bounding box regression的task network。其训练过程是迭代的方式：每次只有一个被训练，其它的freeze。这时候我们只需要获取它对应的graph，并用sess执行即可：

with tf.Session(graph=graph) as sess:
    sess.run()

每一个部分都能单独控制，非常方便。如果向我们之前所有的东西都堆叠在一个graph（默认）中，我们就需要写额外的代码控制哪个阶段，哪些网络层会被训练到，哪些没有，复杂而容易出错。另外，我们也可以对任意一个graph进行修改，即使出错也容易定位到。

希望本文对您有所帮助，如果错误欢迎讨论指出。