transformer面试常考题

1.位置编码有哪些？有什么区别？

nn.embedding和正余弦编码两种用的多。nn.embedding是一种基于学习的嵌入方法，

通过神经网络的训练过程， 会自动学习数据中每个符号的嵌入向量表示。

而正余弦编码是一种手工设计的嵌入方式，是一种固定的编码方式，不依赖于具体的数据和训练模型。

2.transformer的结构

encoder部分主要是为了提取特征，decoder常用于生成式任务。FFN前馈网络进行特征交融。

3.为什么在QK相乘后要归一化

为了防止内积过大，导致梯度爆炸，这样更容易训练，有点类似BN的作用。

4.为什么要使用multi head attention

CNN里面有多个卷积核来提取不同维度的特征信息，那么transformer里也想着把channel分为几份，然后分别做注意力机制，这样即可以降低计算量，也可以学习不同维度的特征。具体操作，把QKV分成几份，然后分别注意力得到特征再concat。

5.后续继续更新