TensorFlow入门(十三、动态图Eager)

一个图(Graph)代表一个计算任务,且在模型运行时,需要把图放入会话(session)里被启动。一旦模型开始运行,图就无法修改了。TensorFlow把这种图一般称为静态图。

动态图是指在Python中代码被调用后,其操作立即被执行的计算。

它与静态图最大的区别是不需要使用session来建立会话。即在静态图中,需要在会话中调用run方法才可以获得某个张量、常量或变量的具体值,而在动态图里,在创建动态图的过程中,默认已经建立了一个session。所有的代码都在该session中进行,而且该session具有进程相同的生命周期。

使用动态图时,直接运行就可以计算得到 它们的具体值,甚至还可以和numpy数组混合计算。它使得TensorFlow的学习变得更简单,也使研发更直观。

Eager Execution是一种命令式编程环境,运行后返回具体的值。一般更多用于研究和实验。它的优点有:

        ①直观的界面,可以自然地组织代码结构并使用Python数据结构。快速迭代小模型和小型数据集

        ②更轻松的调试功能,直接调用操作以检查正在运行的模型并测试更改。使用标准Python调试工具可以进行即时错误报告

        ③自然控制流程。使用Python控制流程而不是图控制流程,简化了动态模型的规范

        ④适用于几乎所有可用的TensorFlow运算

        ⑤它还可以在GPU上运行,提高神经网络的训练速度

激活Eager模式

        激活Eager模式的代码如下:

import tensorflow as tf
tf.enable_eager_execution()

        如果程序的后面需要优化器,也可以在这里先定义:

tfe = tf.contrib.eager

        注意:Eager模式在程序开始就要激活,并且不能与普通模式混用。一旦开启Eager模式便不能撤销,不能实现静态图中关闭session的功能,且只执行一次,无法实现多session操作。这也是动态图的不足之处。如果当前代码只需要一个session来完成的话,可以优先选择动态图Eager来实现。

使用Eager模式

示例代码如下:

import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
tf.enable_eager_execution()

import numpy as np

a = tf.constant([[1,2],[3,4]])
print("a = ",a)

b = tf.Variable(np.zeros((2,2)))
print("\n b = ",b)

c = [[2.]]
m = tf.matmul(c,c)
print("hello,{}".format(m))

可以看到在Eager执行下,a和b操作后的返回值是tf.Tensor,其包含了具体值。不再像Graph模式下那样只是一个计算图节点的符号句柄。由于Eager模式可以立即看到结果,非常有助于程序debug。

Eager模式下的基本运算

        TensorFlow提供了丰富的操作库,如tf.add,tf.matmul,tf.square等,使用它们生成的结果都是张量Tensor。在Eager模式下,可以直接使用这些操作输出运算结果。

示例代码如下:

import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
tf.enable_eager_execution()

print(tf.add(1,2))
print(tf.square(8))
print(tf.reduce_sum([1,2,3]))
print(tf.square(2) + tf.square(3))

动态控制流

        在Eager模式下,TensorFlow也可以像Python定义函数一样,自定义函数,实现动态控制流。

示例代码如下:

import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
tf.enable_eager_execution()

def function(num):
    counter = tf.constant(0)
    num = tf.convert_to_tensor(num)
    for num in range(1,num.numpy() + 2):
        num = tf.constant(num)
        if int(num % 2) == 0 and int(num % 4) == 0:
            print("good")
        elif int(num % 2) == 0:
            print("hi")
        elif int(num % 4) == 0:
            print("hello")
        else:
            print(num.numpy())
        counter += 1
        
function(16)

        在实际的编程过程中,为了提高效率,也可以在Eager模式下训练模型。

示例代码如下:

import tensorflow as tf
tf.compat.v1.enable_eager_execution()

#创建训练数据
Num_Test = 1000
train_X = tf.compat.v1.random_normal([Num_Test])
train_Y = train_X * 5 +2

#搭建正向模型
#定义运算结构
def prediction(input,weight,bias):
    return input * weight + bias

#搭建反向模型
def loss(weights,biases):
    error = prediction(train_X,weights,biases) - train_Y
    return tf.reduce_mean(tf.square(error))

def grad(weights,biases):
    #前向计算,得到loss,同时将操作记录到tape上,用于计算梯度
    with tf.GradientTape() as tape:
        loss_value = loss(weights,biases)
        #反向播放tape,得到梯度
        return tape.gradient(loss_value,[weights,biases])
    
#定义迭代参数和学习率
train_steps = 200
learning_rate = 0.01

#定义学习参数的变量
W = tf.Variable(5.)
B = tf.Variable(10.)

print("Initial loss:{:.3f}".format(loss(W,B)))

#训练模型
for i in range(train_steps):
    dW,dB = grad(W,B)
    W.assign_sub(dW * learning_rate)
    B.assign_sub(dB * learning_rate)
    if i % 20 == 0:
        print("Loss at step {:03d}:{:.3f}".format(i,loss(W,B)))
        
print("Final loss:{:.3f}".format(loss(W,B)))
print("W = {},B = {}".format(W.numpy(),B.numpy()))