tensorflow2.x之由dataset.map引发出的关于tf.py_function以及tf.numpy_function问题

前言:tensorflow是一个庞大的系统,里面的函数很多,实现了很多常规的一些操作,但是始终没有办法涵盖所有的操作,有时候我们需要定义一些自己的操作逻辑来实现制定的功能,发现没那么简单,本文是在编写tf.data.DataSet的时候出现的一个问题,做了一个集中化的总结,会涉及到以下概念:

EagerTensor和Tensor,tf.py_function以及tf.numpy_function,dataset.map等等

一、问题描述

需要解决的问题,现在有三个文本文件,分别存在files文件夹中,名称分别为file1.txt、file2.txt、file3.txt,里面的内容分别是如下:

file1.txt

1,2,3,4,5

file2.txt

11,22,33,44,55

file3.txt

111,222,333,444,555

每一个文件的标签分别为,1,2,3,现在假设已经经过独热编码,则类别分别为

[ [1,0,0],[0,1,0],[0,0,1] ]

先在我需要通过dataset标准pipeline来读取这三个样本,以便于放入神经网络进行训练,显然,我需要对每一个文本文件进行读取操作,需要使用到datase.map()函数,我的代码如下:

X=["file1.txt","file2.txt","file3.txt"]
Y=[[1,0,0],[0,1,0],[0,0,1]]

# 构建dataset对象
dataset = tf.data.Dataset.from_tensor_slices((X,Y))  # 第一步:构造dataset对象 

# 对每一个dataset的元素,实际上就是一个example进行解析
dataset = dataset.map(read_file)

for features,label in dataset:
    print(features)
    print(label)
    print("===========================================================")

解析函数read_file如下

def read_file(filename,label):
    tf.print(type(filename))
    tf.print(type(label))
    
    # filename_ = filename.numpy()
    # label_ = label.numpy()
    
    filename = "./files/" + filename
    tf.print("/")
    
    f =  open(filename,mode="r")
    s =f.readline()
    x_ =s.split(',')
    result =[]
    for i in x_:
        result.append(int(i))
    
    return result,label

代码看起来没什么问题,但是运行实际上显示下面错误:

TypeError: expected str, bytes or os.PathLike object, not Tensor

错误的位置在于

f =  open(filename,mode="r")

意思非常简单,就是说读取文件的这个filename应该是一个str,或者是表示路径的对象,而不应该是一个Tensor对象,

注意:这个问题足足困扰了我有2天之久,在google上面找了很久才找到解决方案,中文搜索几乎没合适的答案。

那怎么办呢?

看起来好像很简单,他既然说了这个filename和label是一个Tensor,那就是我们只要读取到这个Tensor里面的值就可以了啊,不就得到字符串嘛,事实上的确如此,tensorflow2.x中告诉我们获取tensor的值可以使用t.numpy()来获取,但是当我们使用了这两个方法的时候我们发现依然还是错误的,又显示下面的错误:

filename_ = filename.numpy()
label_ = label.numpy()
AttributeError: 'Tensor' object has no attribute 'numpy'

Tensor怎么会没有numpy属性呢?我们不都是通过t.numpy()来获取tensor的值得吗?这实际上引出了下面的一个问题。

 

二、区分tf.EagerTensor和tf.Tensor

2.1 简单的例子

先看几个简单的例子:


In [59]: a = tf.constant([1,2,3,4,5])

In [60]: a
Out[60]: 

In [61]: type(a)
Out[61]: tensorflow.python.framework.ops.EagerTensor

发现两个问题:

(1)这里的a的确是一个Tensor,而且它有属性numpy,我们可以通过a.numpy()来获取它的值

(2)它的类型本质上是一个 EagerTensor,

而上面的Tensor之所以没有numpy属性是因为它是这个样子的

   # 类型

tf.Tensor([102 102 102], shape=(3,), dtype=int64)  # Tensor

可见它是没有numpy属性的,所以会报错,

所以,在tensorflow2.x中,凡是可以用numpy获取值的都是指的是EagerTensor,虽然打印出来显示依然是下面的这种形式:

 

而Tensor到底是什么呢?它实际上是静态图中一种Tensor。虽然我们现在是使用的动态库,但是依然是在后台有一个构建graph的过程,Tensor的值并一定能够及时得到,而是需要为如数据之后才能得到,在tensorflow1.x 静态图中,我们需要采用以下方式来获取Tensor的值:

with tf.Session() as sess:
    result = sess.run([t])  # 获取Tensor t 的值
    print(result)
    
    # 或者是
    result = t.eval()

2.2 使用tensorflow2.x的注意事项

关于EagerTensor和Tensor使用的一些注意事项

(1)希望打印看看运算结果,使用tf.print(tensor)而非print(tensor.numpy())

使用tf.print(tensor)能够无论在动态图还是静态图下都能够打印出张量的内容,而print(tensor.numpy())只能在动态图下使用,而且只能够对EagerTensor使用,以下是一个正确的示范:

(2)使用tf.device而非tensor.gpu()、tensor.cpu()

新版本中创建张量时会自动分配到优先级高的设备上,比如存在gpu时,直接会分配到gpu上:

# 需要GPU版本才能看出创建的张量会直接放置到gpu上!CPU版本不行
import tensorflow as tf
print(tf.test.is_gpu_available())
# True
r = tf.random.normal((3, 4))
print(r.device)
# '/job:localhost/replica:0/task:0/device:GPU:0'

对于新版本的设备指定,EagerTensor可以直接通过.cpu().gpu()方法直接将张量移动到对应的设备上,但是tf.Tensor并没有,兼容两者的方法是在tf.device创建的scope下操作。一个在gpu下创建张量并移动到cpu下进行sin操作的错误例子为:

(3)不要遍历张量,尽量使用向量化的操作

EagerTensor是可以被遍历的,但是tf.Tensor不行,所以尽量不要对张量进行遍历,多想一想应该怎么进行向量化的操作,不光动静态图的兼容性都有,向量化之后的速度的提升也是非常大的。

2.3 分析与理解,

我们可以这样理解,

EagerTensor是实时的,可以在任何时候获取到它的值,即通过numpy获取

Tensor是非实时的,它是静态图中的组件,只有当喂入数据、运算完成才能获得该Tensor的值,

那为什么datastep.map(function)

给解析函数function传递进去的参数,即上面的read_file(filename,label)中的filename和label是Tensor呢?

因为对一个数据集dataset.map,并没有预先对每一组样本先进行map中映射的函数运算,而仅仅是告诉dataset,你每一次拿出来的样本时要先进行一遍function运算之后才使用的,所以function的调用是在每次迭代dataset的时候才调用的,但是预先的参数filename和label只是一个“坑”,迭代的时候采用数据将这个“坑”填起来,而在运算的时候,虽然将数据填进去了,但是filename和label依然还是一个Tensor而不是EagerTensor,所以才会出现上面的问题。

注意:两个问题:

(1)Tensor和EagerTensor没有办法直接转化

(2)Tensor没有办法在python函数中直接使用,因为我没办法在python函数中获取到Tensor的值

三、tensorflow与python代码交互的方式——tf.py_function

我们需要自己定义函数的实现,用python编写的函数没有办法直接来与Tensor交互,那怎么办呢?

tensorflow2.x版本提供了函数tf.py_function来时实现自己定义的功能。

3.1 函数原型

tf.py_function(func, inp, Tout, name=None)

作用:包装Python函数,让Python底阿妈可以与tensorflow进行交互

参数:

func :自己定义的python函数名称

inp :自己定义python函数的参数列表,写成列表的形式,[tensor1,tensor2,tensor3] 列表的每一个元素是一个Tensor对象,

         注意与定义的函数参数进行匹配

Tout:它与自定义的python函数的返回值相对应的,

  • 当Tout是一个列表的时候 ,如 [ tf.string,tf,int64,tf.float] 表示自定义函数有三个返回值,即返回三个tensor,每一个tensor的元素的类型与之对应
  • 当Tout只有一个值的时候,如tf.int64,表示自定义函数返回的是一个整型列表或整型tensor
  • 当Tout没有值的时候,表示自定义函数没有返回值

 

3.2 上面所出现的问题的解决方案

(1)定义自己实现的python函数

# dataset.map函数没有直接使用它,而是先用tf.py_function来包装他
def read_file(filename,label):
    tf.print(type(filename))     # 包装之后类型不再是Tensor,而是EagerTensor
    tf.print(type(label))
    
    filename_ = filename.numpy() # 因为是EagerTensor,可以使用numpy获取值,在tensorflow中,字符串以byte存储,所以它的值是  b'xxxxx'  的形式
    label_ = label.numpy()
    
    new_filename = filename_.decode()  # 将byte解码得到str
    new_filename = "./files/" + new_filename
    
    # 先在的new_filename就是纯python字符串了,可以直接打开了
    f =  open(new_filename,mode="r")
    s =f.readline()
    x_ =s.split(',')
    result =[]
    for i in x_:
        result.append(int(i))
    
    return result,label  # 返回,result是一个列表list

(2)定义一个函数来使用tf.py_function来包装自己定义的python函数

z 注意参数的匹配以及类型的匹配
def wrap_function(x,y):
    x, y = tf.py_function(read_file, inp=[x, y], Tout=[tf.int32, tf.int32])
    return x,y

当然我们也可以不用编写包装函数,直接使用lambda表达式一步到位,

如果不使用tf.py_function()来包装这里的读取函数read_file,则read_file的两个参数都是Tensor

而使用了tf.py_function()来包装read_file函数之后,它的参数就变成了EagerTensor,

至于为什么是这样子,我还不是很清楚,望有大神告知!

即如下:

dataset = dataset.map(lambda x, y: tf.py_function(read_file, inp=[x, y], Tout=[tf.int32, tf.int32]))

 

(3)编写dataset的pipeline

X=["file1.txt","file2.txt","file3.txt"]
Y=[[1,0,0],[0,1,0],[0,0,1]]

dataset = tf.data.Dataset.from_tensor_slices((X,Y))  # 第一步:构造dataset对象 

dataset = dataset.map(wrap_function)

dataset=dataset.repeat(3)       # 重复三次                                   
dataset=dataset.batch(3)        # 每次3个样本一个batch


for features,label in dataset:
    print(features)
    print(label)
    print("=================================================================")

运行结果如下:

tf.Tensor(
[[  1   2   3   4   5]
 [ 11  22  33  44  55]
 [111 222 333 444 555]], shape=(3, 5), dtype=int32)
tf.Tensor(
[[1 0 0]
 [0 1 0]
 [0 0 1]], shape=(3, 3), dtype=int32)
=======================================================================================================
tf.Tensor(
[[  1   2   3   4   5]
 [ 11  22  33  44  55]
 [111 222 333 444 555]], shape=(3, 5), dtype=int32)
tf.Tensor(
[[1 0 0]
 [0 1 0]
 [0 0 1]], shape=(3, 3), dtype=int32)
=======================================================================================================
tf.Tensor(
[[  1   2   3   4   5]
 [ 11  22  33  44  55]
 [111 222 333 444 555]], shape=(3, 5), dtype=int32)
tf.Tensor(
[[1 0 0]
 [0 1 0]
 [0 0 1]], shape=(3, 3), dtype=int32)
=======================================================================================================

可以发现,现在的结果完全吻合!

3.3 关于Tensor与EagerTensor的进一步说明

注意:EagerTensor是可以直接与python代码进行交互的,也可以进行迭代便利操作,不支持与Python直接进行交互的实际上是Tensor,这需要格注意,如下所示的例子:

(1)EagerTensor与python函数的交互

def iterate_tensor(tensor):
    tf.print(type(tensor))  # EagerTensor
    (x1, x2, x3), (x4, x5, x6) = tensor
    return tf.stack([x2, x4, x6])


const = tf.constant(range(6), shape=(2, 3)) # EagerTensor
o = iterate_tensor(const)
print(o)
'''运行结果为:

tf.Tensor([1 3 5], shape=(3,), dtype=int32)
'''

(2)Tensor与python函数的交互

使用tf.function来修饰函数,如下:

@tf.function
def iterate_tensor(tensor):
    tf.print(type(tensor))  # Tensor
    (x1, x2, x3), (x4, x5, x6) = tensor
    return tf.stack([x2, x4, x6])


const = tf.constant(range(6), shape=(2, 3)) # EagerTensor
o = iterate_tensor(const)
print(o)

因为使用了tf.function来修饰Python函数,会将其编译为静态图的操作,此时的tensor变为了Tensor,所以上面的代码会出错:

OperatorNotAllowedInGraphError: iterating over `tf.Tensor` is not allowed: AutoGraph did not convert this function. Try decorating it directly with @tf.function.

由此可见tensor变成了Tensor,不允许对其进行迭代操作,会出现错误。

总结:一定要注意区分EagerTensor和tf.Tensor

在动态图下创建的张量是EagerTensor(引用方式为from tensorflow.python.framework.ops import EagerTensor),在静态图下创建的张量是tf.TensorEagerTensortf.Tensor虽然非常相似,但是不完全一样,如果依赖于EagerTensor特有的一些方法,会导致转换到静态图时tf.Tensor没有这些方法而报错

我们很多时候不知道一个tensor到底是EagerTensor还是Tensor呢?最简单的方式就是使用

tf.print(type(tensor_name))

进行查看

 

四、补充——关于tf.py_function和tf.numpy_function

必须承认是的TensorFlow的存在的这么多(len(dir(tf.raw_ops))个,大约1227个)的Op依然不足以完全覆盖numpy所有的功能,因此在一些情况下找不到合适的Op(或者Op组合)表达运算逻辑时,能用上numpy的函数也是挺好的,因此可能会有人会想到先EagerTensor转换成numpy然后用numpy运算完再转换成Tensor,tf.function可不允许这么做,还是老老实实用tf.numpy_function吧。(当然可以自己写Op Kernel然后编译使用,后续看看有没有额外的时间做自定义Op的总结,目前还是把早年立的填2.0的总结的坑的flag搞定再说> <)

关于更多

tf.py_function

tf.numpy_function

的使用请参见后面的例子吧

 

 

你可能感兴趣的:(tensorflow2.x,TensorFlow,tensorflow,深度学习,python,tf.py_function,numpy_function)