Pytorch中view, transpose, permute等方法的区别

transpose与permute的区别与联系

这两个操作比较相似， transpose每次将任意两个指定的dim进行交换，相当于是2D array的转置操作，而permute可以一次将Tensor变换到任意的dimensions sequence的排列。 Permute操作可以有1至多步的Transpose操作实现。
例子：

data = th.tensor([[[1, 2, 3], [4, 5, 6]], [[7, 8, 9], [10, 11, 12]]])
data_t = data.transpose(1, 2)
data_p = data.permute(2, 0, 1)
data_t_t = data_t.transpose(0, 1)
print('data_t', data_t)
print('data_p', data_p)
print(data_t_t == data_p)
print(data_t.data_ptr() == data.data_ptr() and data_t.is_contiguous() != data.is_contiguous())
print(data_t.stride()[1] == data.stride()[2] and data_t.stride()[2] == data.stride()[1])

Output:

注： transpose操作产生的新的Tensor与原始Tensor相比，除了stride属性发生变化(相关的dims的strides信息同样进行transpose)外并无区别，这两个Tensor只想同一个memory。

---

view 与transpose与permute的区别与联系

transpose与permute会实实在在的根据需求(要交换的dim)把相应的Tensor元素的位置进行调整， 而view 会将Tensor所有维度拉平成一维 （即按行，这也是为什么view操作要求Tensor是contiguous的原因），然后再根据传入的的维度(只要保证各维度的乘积=总元素个数即可)信息重构出一个Tensor。

# -*- coding: utf-8 -*-
import numpy as np
import torch as th

data_t = data.transpose(1, 2)
data_view = data.view(2, 3, 2)

print('data_t', data_t)
print('data_view', data_view)
print(data_t.shape == data_view.shape)
print(data_t.is_contiguous())
# data_t_view = data_t.view(2, 2, 3)

Output:

当Tensor不是contiguous时，会报如下错误：