深度学习入门--Transformer中的Decoder详解

大家好，我是CuddleSabe，目前大四在读，深圳准入职算法工程师，研究主要方向为多模态（VQA、ImageCaptioning等），欢迎各位佬来讨论！
我最近在有序地计划整理CV入门实战系列及NLP入门实战系列。在这两个专栏中，我将会带领大家一步步进行经典网络算法的实现，欢迎各位读者（da lao）订阅

Decoder

在上一节中，我们学习了Encoder的结果及实现代码：
Transformer中的Encoder详解：Multi-Head-Attention及Feed-Forward
在这一节中，我们将学习Transformer剩余的部分：Decoder

Decoder结构

$Decoder$的结构和$Encoder$类似，但是相较于$Encoder$，增加了一个$Sublayer$。

值得注意的是，增加的这层$Sublayer$并不是$Self-Attention$，因为这层$layer$的输入包含了$Encoder$的输出和上一步$Decoder$的输出。

Masked

可以观察到，$Decoder$的$Attention$叫做$Masked-Multi-Head-Attention$，其原因在于加了$Mask$掩码。原因在于：
防止$Decoder$在训练时接触到未来信息，原因详见下一条。

训练与推断

因为$Decoder$的输入是上一层的$Output$和$Encoder$的编码，所以在训练时如果采用训练时的输出，则有可能会造成预测越来越偏差$ground-Truth$的情况：因为偏差会慢慢累积。
所以，在训练时，$Decoder$的输入是$ground-Truth$和$Encoder$的编码，这样所有的$ground-Truth$可以同时送进$Decoder$进行训练。
在推断时，$Decoder$的输入是上一层$Decoder$的输出和$Encoder$的编码，需要一个个依次送入。
在训练时，注意要$Mask$掉未来的信息.

实现代码

class DecoderLayer(nn.Module):
    def __init__(self, size, self_attn, src_attn, feed_forward, dropout):
        super(DecoderLayer, self).__init__()
        self.size = size
        self.self_attn = self_attn
        self.src_attn = src_attn
        self.feed_forward = feed_forward
        self.sublayer = clones(SublayerConnection(size, dropout), 3)

    def forward(self, x, memory, src_mask, tgt_mask):
        m = memory
        a = MultiHeadedAttention(8, 1024)
        x = self.sublayer[0](x, lambda x: a(x, mask=tgt_mask))
        x = self.sublayer[1](x, lambda x: self.src_attn(x, m, m, mask=src_mask))
        return self.sublayer[2](x, self.feed_forward)


# Decoder
class Decoder(nn.Module):
    def __init__(self, layer, N):
        super(Decoder, self).__init__()
        self.layers = clones(layer, N)
        self.norm = LayerNorm(layer.size)

    def forward(self, x, memory, src_mask, tgt_mask):
        for layer in self.layers:
            x = layer(x, memory, src_mask, tgt_mask)
        return self.norm(x)