【Transformer】继续学习：Attention，Self-Attention，Multi-head Attention。

声明：仅学习使用~

一、介绍

1.1 Attention，Self-Attention

核心，可以说是 三层全连接，再加一个 softmax。

Attention的结构，可以说是全连接层，即 Fully connected layer。

三个向量 q、k、v，通过调用函数来实现 传入输入维度，给出输出维度 这种效果。

由三个全连接层组成。这也是Attention的设计结构， q k v 可以理解为 都是