动手学深度学习（三十一）——转置卷积

一、转置卷积

  通常情况下，卷积神经网络如卷积层和池化层都会减少下采样输入图像的空间维度（高和宽）。然而如果输入和输出图像的空间维度相同，在以像素分类的语义分割中将会更加方便。（比如输出像素所处位置的通道维可以保有输入像素在同一位置上的分类结果）

• 卷积不增大输入的高宽，通常要么不变要么减半
• 转置卷积可以用来增大输入高宽

1.1 转置卷积基本操作

  让我们暂时忽略通道，从基本的转置卷积开始，设步幅为1且没有填充。假设我们有一个$n_h\times n_w$的输入张量和一个$k_h\times k_w$的卷积核。以步幅为1滑动卷积核窗口，每行$n_w$次，每列$n_h$次，共产生$n_h{n}_w$个中间结果。每个中间结果都是一个$(n_h+k_h-1)\times (n_w+k_w-1)$的张量，初始化为0。为了计算每个中间张量，输入张量中的每个元素都要乘以卷积核，从而使所得的$k_h\times k_w$张量替换中间张量的一部分。请注意，每个中间张量被替换部分的位置与输入张量中元素的位置相对应。最后，所有中间结果相加以获得最终结果。

例如，下图解释了如何为$2\times 2$的输入张量计算卷积核为$2\times 2$的转置卷积。

我们可以对输入矩阵X和卷积核矩阵 K(实现基本的转置卷积运算)trans_conv。

和卷积有些相反：卷积是上图中3*3的图与卷积核做矩阵乘法，然后累加得到上图input的那个结果的形式

1.2 为什么称之为"转置"

• 对于卷积$Y=X\ast W$
  • 可以对W构造一个V，使得卷积等价于矩阵乘法$Y^{\prime }=V{X}^{\prime }$
  • 这里$Y^{\prime },X^{\prime }$是$Y,X$对应的向量版本
• 转置卷积等价于$Y^{\prime }=V^T{X}^{\prime }$
• 如果卷积将输入从$(h,w)$变为了$(h^{\prime },w^{\prime })$
  • 同样超参数的转置卷积从$(h^{\prime },w^{\prime })$变成了$(h,w)$

1.3 实现二维转置卷积和调用高级API实现更高维度转置卷积

import torch 
from torch import nn 
from d2l import torch as d2l 

def trans_conv(X, K):
    h, w = K.shape
    Y = torch.zeros((X.shape[0] + h - 1, X.shape[1] + w - 1))
    for i in range(X.shape[0]):
        for j in range(X.shape[1]):
            Y[i:i + h, j:j + w] += X[i, j] * K
    return Y

## 验证转置卷积
X = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
K = torch.tensor([[0.0, 1.0], [2.0, 3.0]])
Y = trans_conv(X, K)
X,K,Y

(tensor([[0., 1.],
         [2., 3.]]),
 tensor([[0., 1.],
         [2., 3.]]),
 tensor([[ 0.,  0.,  1.],
         [ 0.,  4.,  6.],
         [ 4., 12.,  9.]]))

## 当输入x和卷积核k都是四维张量的时候，可以使用高级AIP获取到相同的结果
X, K = X.reshape(1, 1, 2, 2), K.reshape(1, 1, 2, 2) #(批量大小，通道数，高，宽)
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, bias=False)
tconv.weight.data = K
tconv(X)

tensor([[[[ 0.,  0.,  1.],
          [ 0.,  4.,  6.],
          [ 4., 12.,  9.]]]], grad_fn=)

1.4 填充、步幅和多通道

1.4.1 填充

在转置卷积之中，填充是对输出进行填充，将输出外部n层褪去，所以加上填充是会缩小输出大小的

## 填充为1
tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, padding=1, bias=False)
tconv.weight.data = K
tconv(X)

tensor([[[[4.]]]], grad_fn=)

1.4.2 步幅

在转置卷积中，步幅被指定为中间结果（输出），而不是输入。

tconv = nn.ConvTranspose2d(1, 1, kernel_size=2, stride=2, bias=False)
tconv.weight.data = K
tconv(X)

tensor([[[[0., 0., 0., 1.],
          [0., 0., 2., 3.],
          [0., 2., 0., 3.],
          [4., 6., 6., 9.]]]], grad_fn=)

1.4.3 多通道

  对于多个输入和输出通道，转置卷积与常规卷积以相同方式运作。假设输入有 $c_i$ 个通道，且转置卷积为每个输入通道分配了一个 $k_h\times k_w$ 的卷积核张量。当指定多个输出通道时，每个输出通道将有一个 $c_i\times k_h\times k_w$ 的卷积核。

  同样，如果我们将 $\mathsf{X}$ 代入卷积层 $f$ 来输出 $\mathsf{Y}=f(\mathsf{X})$ ，并创建一个与 $f$ 具有相同的超参数、但输出通道数量是 $\mathsf{X}$ 中通道数的转置卷积层 $g$，那么 $g(Y)$ 的形状将与 $\mathsf{X}$ 相同。

下面的示例可以解释这一点。

X = torch.rand(size=(1, 10, 16, 16))
conv = nn.Conv2d(10, 20, kernel_size=5, padding=2, stride=3) # 做卷积
tconv = nn.ConvTranspose2d(20, 10, kernel_size=5, padding=2, stride=3) # 转置卷积
tconv(conv(X)).shape == X.shape # 对卷积的结果进行一次转置卷积>>输出结果的大小和输入的大小是相等的

True

1.5 转置卷积与矩阵变换的关系

## 首先我们定义一个3*3的输入X，和一个2*2的卷积核k，然后使用corr2d函数计算卷积输出Y
X = torch.arange(9.0).reshape(3, 3)
K = torch.tensor([[1.0, 2.0], [3.0, 4.0]])
Y = d2l.corr2d(X, K)
Y

tensor([[27., 37.],
        [57., 67.]])

## 将卷积核K重写为包含大量0的稀疏权重矩阵W。权重矩阵的形状是（4,9）,其中非0元素来自卷积核K
def kernel2matrix(K):
    k, W = torch.zeros(5), torch.zeros((4, 9))
    k[:2], k[3:5] = K[0, :], K[1, :]
    W[0, :5], W[1, 1:6], W[2, 3:8], W[3, 4:] = k, k, k, k
    return W

W = kernel2matrix(K)
W

tensor([[1., 2., 0., 3., 4., 0., 0., 0., 0.],
        [0., 1., 2., 0., 3., 4., 0., 0., 0.],
        [0., 0., 0., 1., 2., 0., 3., 4., 0.],
        [0., 0., 0., 0., 1., 2., 0., 3., 4.]])

"""
逐行连接输入X，获得了一个长度为9的矢量。
然后，W的矩阵乘法和向量化的X给出了一个长度为4的向量。
重塑它之后，可以获得与上面的原始卷积操作所得相同的结果Y：我们刚刚使用矩阵乘法实现了卷积。
"""
Y == torch.matmul(W, X.reshape(-1)).reshape(2, 2)

tensor([[True, True],
        [True, True]])

"""
同样，我们可以使用矩阵乘法来实现转置卷积。
在下面的示例中，我们将上面的常规卷积的输出Y作为转置卷积的输入。
想要通过矩阵相乘来实现它，我们只需要将权重矩阵W的形状转置为（9, 4)。
"""

Z = trans_conv(Y, K)
Z == torch.matmul(W.T, Y.reshape(-1)).reshape(3, 3)

tensor([[True, True, True],
        [True, True, True],
        [True, True, True]])

1.6 转置卷积和卷积

转置卷积是一种卷积

• 将输入和核进行了重新排列
• 同卷积做下采样不同，一般用作上采样
• 如果卷积将输入从$(h,w)$变为了$(h^{\prime },w^{\prime })$， 同样超参数的转置卷积从$(h^{\prime },w^{\prime })$变成了$(h,w)$了

转置卷积和卷积的关系

当填充为0，步幅为1时

• 将输入填充k-1（k是核窗口）
• 将核矩阵上下、左右翻转
• 做正常卷积（填充为0，步幅为1）
  

当填充为p，步幅为1时

• 将输入填充k-p-1（k是核窗口）
• 将核矩阵上下、左右翻转
• 做正常卷积（填充为0，步幅为1）
  

当填充为p，步幅为s时

• 在行和列之间插入s-1行或列
• 将输入填充k-p-1（k是核窗口）
• 将核矩阵上下、左右翻转
• 做正常卷积（填充为0，步幅为1）
  

形状换算：
输入高（宽）为n,核k，填充p，步幅s

• 转置卷积：$n^{\prime }=sn+k-2p-s$
• 卷积$n^{\prime }=\lfloor (n-k-2p+s)/s\rfloor ->n>=s{n}^{\prime }+k+2p-s$

如果让高宽成倍增加，那么$k=2p+s$

二、小结

• 与通过卷积核减少输入元素的常规卷积相反，转置卷积通过卷积核广播输入元素，从而产生形状大于输入的输出。
• 如果我们将 $\mathsf{X}$ 输入卷积层 $f$ 来获得输出 $\mathsf{Y}=f(\mathsf{X})$ 并创造一个与 $f$ 有相同的超参数、但输出通道数是 $\mathsf{X}$ 中通道数的转置卷积层 $g$，那么 $g(Y)$ 的形状将与 $\mathsf{X}$ 相同。
• 我们可以使用矩阵乘法来实现卷积。转置卷积层能够交换卷积层的正向传播函数和反向传播函数。
• 转置卷虽然像是一个上采样的过程，相比上采样其复杂度更大，作用也不在于上采样