TensorFlow(五)维度变换

文章目录

  • 改变视图、增删维度
  • 交换维度
  • 复制数据
  • Broadcasting
  • 文章来源

改变视图、增删维度

  基本的维度变换操作函数包含了改变视图 reshape、 插入新维度 expand_dims,删除维度 squeeze、 交换维度 transpose、 复制数据 tile 等函数。

x=tf.reshape(x,[2,4,4,3]) # 改变 x 的视图,获得 4D 张量,存储并未改变
tf.reshape(x,[2,-1,3])
x = tf.expand_dims(x,axis=2) # axis=2 表示宽维度后面的一个维度
x = tf.expand_dims(x,axis=0) # 高维度之前插入新维度
 x = tf.squeeze(x, axis=0) # 删除图片数量维度

TensorFlow(五)维度变换_第1张图片
注意:改变视图、增删维度都不会改变内存存储顺序。

交换维度

  改变视图、 增删维度都不会影响张量的存储。在实现算法逻辑时, 在保持维度顺序不变的条件下, 仅仅改变张量的理解方式是不够的,有时需要直接调整的存储顺序,即交换维度(Transpose)。通过交换维度操作,改变了张量的存储顺序,同时也改变了张量的视图。
  用下面函数实现:

tf.transpose(x, perm)

其中参数 perm表示新维度的顺序 List。
维度索引号从0开始依次排序。
TensorFlow(五)维度变换_第2张图片
  需要注意的是, 通过 tf.transpose 完成维度交换后,张量的存储顺序已经改变, 视图也随之改变, 后续的所有操作必须基于新的存续顺序和视图进行。 相对于改变视图操作,维度交换操作的计算代价更高。

复制数据

  可以通过 tf.tile(x, multiples)函数完成数据在指定维度上的复制操作, multiples 分别指定了每个维度上面的复制倍数,对应位置为 1 表明不复制,为 2 表明新长度为原来长度的2 倍,即数据复制一份,以此类推。
TensorFlow(五)维度变换_第3张图片
  实际上,上述插入维度和复制数据的步骤并不需要我们手动执行, TensorFlow 会自动完成,这就是自动扩展功能。

x = tf.random.normal([2,4])
w = tf.random.normal([4,3])
b = tf.random.normal([3])
y = x@w+b # 不同 shape 的张量直接相加

  上述加法并没有发生逻辑错误,那么它是怎么实现的呢? 这是因为它自动调用 Broadcasting函数 tf.broadcast_to(x, new_shape), 将两者 shape 扩张为相同的[2,3], 即上式可以等效为:

y = x@w + tf.broadcast_to(b,[2,3]) # 手动扩展,并相加

  也就是说,操作符+在遇到 shape 不一致的 2 个张量时,会自动考虑将 2 个张量自动扩展到一致的 shape,然后再调用 tf.add 完成张量相加运算,当然,tf.broadcast_to(x, new_shape)函数是可以显式地执行自动扩展功能的。
  需要注意的是, tf.tile 会创建一个新的张量来保存复制后的张量,由于复制操作涉及大量数据的读写 IO 运算,计算代价相对较高。神经网络中不同 shape 之间的张量运算操作十分频繁,那么有没有轻量级的复制操作呢?这就是接下来要介绍的 Broadcasting 操作。

Broadcasting

  Broadcasting 称为广播机制(或自动扩展机制), 它是一种轻量级的张量复制手段,在逻辑上扩展张量数据的形状, 但是只会在需要时才会执行实际存储复制操作。对于大部分场景, Broadcasting 机制都能通过优化手段避免实际复制数据而完成逻辑运算,从而相对于tf.tile 函数,减少了大量计算代价。
  对于所有长度为 1 的维度, Broadcasting 的效果和 tf.tile 一样,都能在此维度上逻辑复制数据若干份,区别在于 tf.tile 会创建一个新的张量, 执行复制 IO 操作,并保存复制后的张量数据, 而 Broadcasting 并不会立即复制数据, 它会在逻辑上改变张量的形状,使得视图上变成了复制后的形状。 Broadcasting 会通过深度学习框架的优化手段避免实际复制数据而完成逻辑运算,至于怎么实现的用户不必关心, 对于用户来说, Broadcasting 和 tf.tile 复制的最终效果是一样的,操作对用户透明,但是 Broadcasting 机制节省了大量计算资源,建议在运算过程中尽可能地利用 Broadcasting 机制提高计算效率。
TensorFlow(五)维度变换_第4张图片
TensorFlow(五)维度变换_第5张图片
TensorFlow(五)维度变换_第6张图片

文章来源

  本文完全来源于https://github.com/dragen1860/Deep-Learning-with-TensorFlow-book,感谢原作者的完美工作,这是tf2.0的内容,超级棒。我只是用jupter notebook学习一遍,供本文和大家参考。

你可能感兴趣的:(tensorflow)