自然语言处理基础知识入门(四) Transformer模型整体最详解（self- attention机制，mask机制）

---

前言

在前面的章节中，详细讨论了循环神经网络（RNN）及其衍生模型，经过对RNN的不断改良，它们现在已经具备了长期记忆的能力，这无疑是语言模型领域的一项重大突破。然而，现在的多模态技术以及GPT的出现，绝大多数都选择了基于Transformer的架构，这是为何呢？

本章节将围绕这个问题展开，将深入讲解自注意力机制，揭示这个如今在整个自然语言处理领域产生了深远影响的技术的精髓。这将为读者理解后续的BERT模型、GPT技术，以及多模态技术如CLIP等内容奠定坚实的基础。本文的目标是让读者在学习这部分内容后，对这些技术有一个全面而清晰的认识，并能构建完整的知识体系。

https://arxiv.org/pdf/1706.03762 Transformer 原文链接

一、Seq2Seq

在学习Transformer的前提要明确什么是Seq2Seq，即Sequence to Sequence模型的简称，通常由两部分构成一部分是Encode