Tensorflow 维度变换

1、维度变换介绍
在神经网络运算过程中，维度变换是最核心的张量操作，通过维度变换可以将数据任意地切换形式，满足不同的运算需求。算法的每个模块对于数据张量的格式有不同的逻辑要求，当现有的数据格式不满足算法要求时，需要通过维度变换将数据调整为正确的格式，这就是维度变换的功能。
基本的维度变换操作函数包含改变视图reshape、插入新维度expand_dims、删除维度squeeze、交换维度transpose、复制数据tile等函数。
2、张量与标量
例如：大小shape为[4,32,32,3]的张量，可以理解为有4张图片，每张图片32行32列，每个位置有RGB 3个通道数据，张量的存储体现是在内存中保存的一段连续的内存区域，对于同样的存储，可以有不同的理解方式，例如上述张量，可以在不改变储存，张量可以理解为4张样本，每个样本的特征长度3072的向量。同一个储存，从不同的角度分析数据，可以产生不同的视图，视图是非常灵活的，但也需要符合常理。

import tensorflow as tf
#产生向量
x = tf.range(96)
#改变x的视图，获得四维张量，存储没有改变
x = tf.reshape(x,[2,4,4,3])
print(x)

3、视图变换
为了表达方便，把张量shape列表中相对靠左侧的维度称为大维度，shape列表中相对靠右侧的维度称为小维度，例如[2，4，4，3]的张量中，图片数量维度与通道数量相比，图片数量称为大维度，通道数称为小维度。视图变换只需要满足新视图的元素总量与存储区域大小相等，视图的元素数量等于bhw*c。

张量的初始化视图为[b,h,w,c]，写入内存布局，现在改变张量：
(1)、[b,hw,c]：b张图片，hw个像素点，c个通道；
(2)、[b,h,wc]：b张图片，h行，每行有wc个特征；
(3)、[b,c,h,w]：b张图片，c个通道，h行，w，列，改变初始的顺序。

改变视图是神经网络中非常常见的操作，可以通过串联多个reshape操作来实现复杂逻辑，但是在通过reshape改变视图时，必须始终记住张量的存储顺序，新视图的维度顺序不能与存储顺序相悖，否则需要通过交换维度操作将存储顺序同步过来。

#维度数和形状列表
x.ndim,x.shape
#(4, TensorShape([2, 4, 4, 3]))

#参数-1表示当前轴上长度需要根据张量总元素不变的法则自动推导
tf.reshape(x,[2,-1])
'''

'''

tf.reshape(x,[2,4,12])
'''

'''

tf.reshape(x,[2,16,3])
'''

'''

4、增删维度
一张28×28大小的灰度图片的数据保存为shape为[28，28]的张量，在末尾给张量增加一新维度，定义为通道数维度，此时张量的shape变为[28，28，1]：

x = tf.random.uniform((28,28),maxval=10,dtype=tf.int32)
print('初始维度:',x.shape)
x = tf.expand_dims(x,axis=2)
print('变换后维度:',x.shape)
'''
初始维度: (28, 28)
变换后维度: (28, 28, 1)
'''

可以在最前面插入一个新的维度：

x = tf.expand_dims(x,axis=0)
x.shappe
#TensorShape([1, 28, 28, 1])

x = tf.expand_dims(x,axis=-1)
x.shape
#TensorShape([1, 28, 28, 1, 1])
x = tf.expand_dims(x,axis=-4)
x.shape
#TensorShape([1, 28, 1, 28, 1, 1])

tf.expand_dims的axis为正时，表示在当前维度之前插入一个新维度；为负时，表示当前维度之后插入一个新的维度。
删除维度只能删除长度为1的维度，也不会改变张量的存储。

x = tf.squeeze(x,axis=0)
x.shape
#TensorShape([28, 1, 28, 1, 1])

x = tf.squeeze(x,axis=1)
x.shape
#TensorShape([28,28, 1, 1])

#默认删除所有长度为1的维度
x =tf.squeeze(x)
x.shape
#TensorShape([28, 28])

4、交换维度
交换维度操作，改变了张量的存储顺序，同时也改变了张量的视图：

#[b，h，w，c]到[b，c，h，w]维度交换运算
x = tf.random.uniform((4,28,28,3),maxval=10,dtype=tf.int32)
print('初始维度:',x.shape)
x = tf.transpose(x,perm=(0,3,1,2))
print('变换后维度:',x.shape)
'''
初始维度: (4, 28, 28, 3)
变换后维度: (4, 3, 28, 28)
'''

#[b，h，w，c]交换为[b，w，h，c]
x = tf.random.uniform((4,28,28,3),maxval=10,dtype=tf.int32)
print('初始维度:',x.shape)
x = tf.transpose(x,perm=(0,2,1,3))
print('变换后维度:',x.shape)
'''
初始维度: (4, 28, 28, 3)
变换后维度: (4, 28, 28, 3)
'''

5、复制数据
当通过增加维度操作插入新维度后，可能希望在新的维度上面复制若干份数据：

x = tf.constant([1,2])
print(x.shape)
print(x)
x = tf.expand_dims(x,axis=0)
print(x.shape)
print(x)
x = tf.tile(x,multiples=[2,1])
print(x.shape)
print(x)
'''
(2,)
tf.Tensor([1 2], shape=(2,), dtype=int32)
(1, 2)
tf.Tensor([[1 2]], shape=(1, 2), dtype=int32)
(2, 2)
tf.Tensor(
[[1 2]
 [1 2]], shape=(2, 2), dtype=int32)
'''

x = tf.range(4)
print(x.shape)
print(x)
x = tf.reshape(x,(2,2))
print(x.shape)
print(x)
#在列维度复制1份数据
x = tf.tile(x,multiples=[1,2])
print(x.shape)
print(x)
#在行维度复制1份数据
x = tf.tile(x,multiples=[2,1])
print(x.shape)
print(x)
'''
(4,)
tf.Tensor([0 1 2 3], shape=(4,), dtype=int32)
(2, 2)
tf.Tensor(
[[0 1]
 [2 3]], shape=(2, 2), dtype=int32)
 (2, 4)
tf.Tensor(
[[0 1 0 1]
 [2 3 2 3]], shape=(2, 4), dtype=int32)
(4, 4)
tf.Tensor(
[[0 1 0 1]
 [2 3 2 3]
 [0 1 0 1]
 [2 3 2 3]], shape=(4, 4), dtype=int32)
'''

Broadcasting机制
Broadcasting机制的核心思想是普适性，即同一份数据能普遍适合于其他位置。在验证普适性之前，需要先将张量shape靠右对齐，然后进行普适性判断：对于长度为1的维度，默认这个数据普遍适合于当前维度的其他位置；对于不存在的维度，则在增加新维度后默认当前数据也是普适于新维度的，从而可以扩展为更多维度数、任意长度的张量形状。
例如：shape为[w，1]的张量，需要扩展为shape:[b，h，w，c]，首先将2个shape靠右对齐，对于通道维度c，张量的长度为1，则默认此数据同样适合当前维度的其他位置，将数据在逻辑上复制c-1份，长度变为c；对于不存在的b和h维度，则自动插入新维度，新维度长度为1，同时默认当前的数据普适于新维度的其他位置，然后将数据b和h维度的长度自动扩展为b和h。

x = tf.random.normal([32,1])
tf.broadcast_to(x,[3,32,32,3])
'''

#在c维度上，张量已经有2个特征数据，当前维度上的这2个特征无法普适到其他位置，故不满足普适性原则，无法应用Broadcasting机制，将会触发错误
x = tf.random.normal([32,2])
tf.broadcast_to(x,[3,32,32,3])
'''
InvalidArgumentError: Incompatible shapes: [32,2] vs. [3,32,32,3] [Op:BroadcastTo]
'''

#自动Broadcasting机制
x = tf.random.normal([2,32,32,1])
y = tf.random.normal([32,32])
x+y,x-y,x*y,x/y
'''
(