Transformer详解之Embedding、Positional Encoding层（面向初学者）

1.Embedding层介绍

        在理解Embedding层之前，我们需要关注于文本数据的特点，举例："我爱北京天安门"，我们在做文本数据处理得时候，传统的汉字是没有办法做运算的，大家时刻要记住，计算机在处理任何数据的基础，就是能够进行运算。为了解决汉字运算的问题，提出了将汉字进行编码（或叫文本张量表示）的思想。目前主流的编码方式有one-hot编码及word Embedding。下面就两种编码进行介绍，其中穿插关于word2vec的理解。

1.1 one-hot编码

        该编码格式较为傻瓜式，就是将词库中所有的单词，从0到max_len的进行编号，使用哪个词对应的编号位置部分置1，其余部分置0。举例说明：如果整个词库为“我爱北京天安门”，依次对其进行编号，便会得到如下的表示：

我：1000 000        爱：0100 000        北：0010 000        京：0001 000        天：0000 100

安：0000 010        门：0000 001

        由上面的编码可知，只要得到词库，我们就能对所有的文字进行编码，用以运算，但是这种编码方式，存在一个非常大的问题，即编码的长度不是固定的，与词库有关，且经过one-hot得到的张量，存在大量的0，浪费内存。且文字与文字之间的关系无法得到体现。

1.2 什么是word2vec

        word2vec从字面意思能够看出来，即文本推导张量，它存在两个模式，一个是CBOW，一个是skipgram，其中CBOW类似于我们在英文考试中的完形填空，即根据上下文推导中间的单词。而skipgram与之相反，通过某个单词，推导上下文。可以通过fasttext实现word2vec的训练和使用。

1.3 理解什么是Embedding层及利用nn.Embedding创建时的参数含义

        了解了什么是one-hot编码后，发现了该编码方式的优点和缺点非常的突出，为了更高效的使用内存，更加合理的进行文本的编码，常常使用Embedding层进行文本的数字张量表示，这里我用白话的方式向大家进行讲解，文本只是一个符号，简单的理解文本的作用，即表示实体和实体之间的逻辑性的符号，但是实体与实体之间是存在联系的。如果我们把Embedding层理解成文本数据扩充维度的表现，是否可以更好的理解这部分内容呢。即如果有3句话，每句话有10个字，通过张量表示，则该张量的形状一定是(3, 10)，可是如果我们把每个文字用60个数字来抽象的表示，那该文本的张量形状是不是变成了(3, 10, 60)其中60就是所谓的词嵌入维度。所以从字面上理解，只要给定词库的数字，以及要转化的词嵌入维度，我们就能够得到Embedding层的输出。

        即nn.Embedding(max_len, d_model)，这样一个简单的Embedding层创建完毕。其中我们的max_len也可以写成vocab表示词表的大小。

2.Positional Encoding层

2.1 了解什么Positional Encoding层

        文本数据经过了Embedding层后，我们会得到一个三维的数据，第一维表示共有几句话， 第二位表示每句话有多少个字，第三维数据表示，每个字使用多少数据进行表示（也就是Embedding层的词嵌入维度d_model）。文本与文本之间不仅仅有逻辑关系，还存在一定的位置关系，例如：小红欺负小明，小红在前，说明小红是个施暴者。如果没有位置信息的填入，可能会出现小明欺负小红的完全相反的信息。所以在经过Embedding后的数据，要添加一个Positional Encoding层信息。Positional Encoding层信息有两种，一种是固定不变的，一种是可以进行训练的，通常我们使用torch.arange(0, max_len)创建一个1维的列表，然后通过unsqueeze(1),将列表变成形状为(max_len, 1)的数据，然后再使用unsqueeze(0)，将列表形状变为(1, max_len, 1)的数据。然后再将张量的第二维下标为奇数的部分，进行math.sin()函数的变换，将张量第二维下标为偶数的部分进行math.cos()函数的变换。

        最后在将Positional Encoding层数据与Embedding层后的数据相加时，如果Positional Encoding数据不需要变换则直接相加，如果需要进行训练，则使用Variable()方法进行封装。然后再相加。这样关于Embedding层和Positional Encoding层的讲解到此完毕。

        其实应该添加代码供大家阅读，但因本人过于懒惰，就暂时简单的白话讲解了，这是本人第一个文章，有什么错误，和不正确的地方，欢迎各位大佬指正！！！