【060】tensorflow2.0 与tensorflow1.0 的性能区别和迁移
内容目录
一、TensorFlow 2.0 介绍二、tf1 和 tf2 的主要变化1、Eager执行2、AutoGraph3、tf.keras4、模型训练三、TF 1.0到2.0迁移
一、TensorFlow 2.0 介绍
Google推出了全新的版本TensorFlow 2.0，2.0版本相比1.0版本不是简单地更新，而是一次重大升级。简单地来说，TensorFlow 2.0默认采用eager执行模式，而且重整了很多混乱的模块。毫无疑问，2.0版本将会逐渐替换1.0版本，所以很有必要趁早入手TensorFlow 2.0。
#初学者的 TensorFlow 2.0 教程
https://tensorflow.google.cn/tutorials/quickstart/beginner
二、tf1 和 tf2 的主要变化
1、Eager执行
TensorFlow的Eager执行时一种命令式编程（imperative programming），这和原生Python是一致的，当你执行某个操作时是立即返回结果的。而TensorFlow一直是采用Graph模式，即先构建一个计算图，然后需要开启Session，喂进实际的数据才真正执行得到结果。显然，eager执行更简洁，我们可以更容易debug自己的代码，这也是为什么PyTorch更简单好用的原因。一个简单的例子如下：
x = tf.ones((2, 2), dtype=tf.dtypes.float32)
y = tf.constant([[1, 2],
[3, 4]], dtype=tf.dtypes.float32)
z = tf.matmul(x, y)
print(z)
# tf.Tensor(
# [[4. 6.]
# [4. 6.]], shape=(2, 2), dtype=float32)
print(z.numpy())
# [[4. 6.]
# [4. 6.]]
tf.Tensor(
[[4. 6.]
[4. 6.]], shape=(2, 2), dtype=float32)
可以看到在eager执行下，每个操作后的返回值是tf.Tensor，其包含具体值，不再像Graph模式下那样只是一个计算图节点的符号句柄。由于可以立即看到结果，这非常有助于程序debug。更进一步地，调用tf.Tensor.numpy()方法可以获得Tensor所对应的numpy数组。
这种eager执行的另外一个好处是可以使用Python原生功能，比如下面的条件判断：
random_value = tf.random.uniform([], 0, 1)
x = tf.reshape(tf.range(0, 4), [2, 2])
print(random_value)
if random_value.numpy() > 0.5:
y = tf.matmul(x, x)
else:
y = tf.add(x, x)
tf.Tensor(0.13799858, shape=(), dtype=float32)
这种动态控制流主要得益于eager执行得到Tensor可以取出numpy值，这避免了使用Graph模式下的tf.cond和tf.while等算子。另外一个重要的问题，在egaer模式下如何计算梯度。在Graph模式时，我们在构建模型前向图时，同时也会构建梯度图，这样实际喂数据执行时可以很方便计算梯度。但是eager执行是动态的，这就需要每一次执行都要记录这些操作以计算梯度，这是通过tf.GradientTape来追踪所执行的操作以计算梯度，下面是一个计算实例：
w = tf.Variable([[1.0]])
with tf.GradientTape() as tape:
loss = w * w + 2. * w + 5.
grad = tape.gradient(loss, w)
print(grad)
tf.Tensor([[4.]], shape=(1, 1), dtype=float32)
对于eager执行，每个tape会记录当前所执行的操作，这个tape只对当前计算有效，并计算相应的梯度。PyTorch也是动态图模式，但是与TensorFlow不同，它是每个需要计算Tensor会拥有grad_fn以追踪历史操作的梯度。
TensorFlow 2.0引入的eager提高了代码的简洁性，而且更容易debug。但是对于性能来说，eager执行相比Graph模式会有一定的损失。这不难理解，毕竟原生的Graph模式是先构建好静态图，然后才真正执行。这对于 在分布式训练、性能优化和生产部署方面具有优势。但是好在，TensorFlow 2.0引入了tf.function和AutoGraph来缩小eager执行和Graph模式的性能差距，其核心是将一系列的Python语法转化为高性能的graph操作。
2、AutoGraph
AutoGraph在TensorFlow 1.x已经推出，主要是可以将一些常用的Python代码转化为TensorFlow支持的Graph代码。一个典型的例子是在TensorFlow中我们必须使用tf.while和tf.cond等复杂的算子来实现动态流程控制，但是现在我们可以使用Python原生的for和if等语法写代码，然后采用AutoGraph转化为TensorFlow所支持的代码，如下面的例子：
import tensorflow as tf
def square_if_positive(x):
if x > 0:
x = x * x
else:
x = 0.0
return x
# eager 模式
print('Eager results: %2.2f, %2.2f' % (square_if_positive(tf.constant(8.0)),
square_if_positive(tf.constant(-9.0))))
# graph 模式
tf_square_if_positive = tf.autograph.to_graph(square_if_positive)
with tf.Graph().as_default():
# The result works like a regular op: takes tensors in, returns tensors.
# You can inspect the graph using tf.get_default_graph().as_graph_def()
g_out1 = tf_square_if_positive(tf.constant( 9.0))
g_out2 = tf_square_if_positive(tf.constant(-9.0))
with tf.compat.v1.Session() as sess:
print('Graph results: %2.2f, %2.2f\n' % (sess.run(g_out1), sess.run(g_out2)))
Eager results: 64.00, 0.00
Graph results: 81.00, 0.00
上面我们定义了一个square_if_positive函数，它内部使用的Python的原生的if语法，对于TensorFlow 2.0的eager执行，这是没有问题的。然而这是TensorFlow 1.x所不支持的，但是使用AutoGraph可以将这个函数转为Graph函数，你可以将其看成一个常规TensorFlow op，其可以在Graph模式下运行（tf2 没有Session，这是tf1.x的特性，想使用tf1.x的话需要调用tf.compat.v1）。大家要注意eager模式和Graph模式的差异，尽管结果是一样的，但是Graph模式更高效。从本质上讲，AutoGraph是将Python代码转为TensorFlow原生的代码。
3、tf.keras
TensorFlow 2.0全面keras化：如果你想使用高级的layers，只能选择keras。TensorFlow 1.x存在tf.layers以及tf.contrib.slim等高级API来创建模型，但是2.0仅仅支持tf.keras.layers，不管怎么样，省的大家重复造轮子，也意味着模型构建的部分大家都是统一的，增加代码的复用性（回忆一下原来的TensorFlow模型构建真是千奇百怪）。值得注意的tf.nn模块依然存在，里面是各种常用的nn算子，不过大部分人不会去直接用这些算子构建模型，因为keras.layers基本上包含了常用的网络层。当然，如果想构建新的layer，可以直接继承tf.keras.layers.Layer。
https://zhuanlan.zhihu.com/p/588250204、模型训练
在开始模型训练之前，一个重要的项是数据加载，TensorFlow 2.0的数据加载还是采用tf.data，不过在eager模式下，tf.data.Dataset这个类将成为一个Python迭代器，我们可以直接取值。
import tensorflow as tf
dataset = tf.data.Dataset.range(10)
for i, elem in enumerate(dataset):
print(elem) # prints 0, 1, ..., 9
tf.Tensor(0, shape=(), dtype=int64)
tf.Tensor(1, shape=(), dtype=int64)
tf.Tensor(2, shape=(), dtype=int64)
tf.Tensor(3, shape=(), dtype=int64)
tf.Tensor(4, shape=(), dtype=int64)
tf.Tensor(5, shape=(), dtype=int64)
tf.Tensor(6, shape=(), dtype=int64)
tf.Tensor(7, shape=(), dtype=int64)
tf.Tensor(8, shape=(), dtype=int64)
tf.Tensor(9, shape=(), dtype=int64)
三、TF 1.0到2.0迁移
在TensorFlow 2.0中，仍然可以运行未经修改的1.x代码（contrib除外），但是，这并不能让您利用TensorFlow2.0中的许多改进。：
import tensorflow.compat.v1 as tf
tf.disable_v2_behavior()
About Me：小婷儿
● 本文作者：小婷儿，专注于python、数据分析、数据挖掘、机器学习相关技术，也注重技术的运用
● 作者博客地址：https://blog.csdn.net/u010986753
● 本系列题目来源于作者的学习笔记，部分整理自网络，若有侵权或不当之处还请谅解
● 版权所有，欢迎分享本文，转载请保留出处
● 微信：tinghai87605025 联系我加微信群
● QQ：87605025
● QQ交流群py_data ：483766429
● 公众号：python宝 或 DB宝
● 提供OCP、OCM和高可用最实用的技能培训
● 题目解答若有不当之处，还望各位朋友批评指正，共同进步
如果你觉得到文章对您有帮助，欢迎赞赏哦！有您的支持，小婷儿一定会越来越好！