Pytorch中continuous()的作用

在 PyTorch 中，contiguous() 是用于检查张量是否是按照内存中的连续顺序存储的函数。如果张量是按照内存中的连续顺序存储的，则返回原始张量；否则将会创建一个新的连续张量，并将数据复制到该张量中。

假设有一个形状为 (3, 4, 5) 的三维张量 x，其中每个元素都是从 0 开始的整数：

import torch

x = torch.arange(60).reshape(3, 4, 5)
print(x)

输出：

tensor([[[ 0,  1,  2,  3,  4],
         [ 5,  6,  7,  8,  9],
         [10, 11, 12, 13, 14],
         [15, 16, 17, 18, 19]],

        [[20, 21, 22, 23, 24],
         [25, 26, 27, 28, 29],
         [30, 31, 32, 33, 34],
         [35, 36, 37, 38, 39]],

        [[40, 41, 42, 43, 44],
         [45, 46, 47, 48, 49],
         [50, 51, 52, 53, 54],
         [55, 56, 57, 58, 59]]])

现在我们想交换张量 x 的维度 1 和 2，然后将结果保存在新的张量 y 中，代码如下：

y = x.transpose(1, 2)
print(y)

输出：

tensor([[[ 0,  5, 10, 15],
         [ 1,  6, 11, 16],
         [ 2,  7, 12, 17],
         [ 3,  8, 13, 18],
         [ 4,  9, 14, 19]],

        [[20, 25, 30, 35],
         [21, 26, 31, 36],
         [22, 27, 32, 37],
         [23, 28, 33, 38],
         [24, 29, 34, 39]],

        [[40, 45, 50, 55],
         [41, 46, 51, 56],
         [42, 47, 52, 57],
         [43, 48, 53, 58],
         [44, 49, 54, 59]]])

可以看到，张量 y 的维度 1 和 2 已经被交换了。但是，如果我们尝试对 y 进行操作，例如 y.sum()，则会发生错误：

y.sum()

输出：

RuntimeError: sum(): Tensor must be contiguous before calling this method. Consider calling .contiguous() on the tensor before calling this method.

这是因为 y 不是按照内存中的连续顺序存储的，而 PyTorch 许多操作都要求输入张量是按照内存中的连续顺序存储的。因此，我们需要调用 y.contiguous() 函数来创建一个新的按照内存中的连续顺序存储的张量：

y = y.contiguous()
print(y.sum())

输出：

tensor(885)

现在，y 已经按照内存中的连续顺序存储了，并且可以进行各种操作。因此，y.transpose(1, 2).contiguous() 可以确保张量是按照内存中的连续顺序存储的，并且可以与其他 PyTorch 函数一起使用。