【Transformer】Transformer的简单了解:Positional Encoding、Self-attention、Batch 与 Layer Norm 等
自从2017年Transformer模型被提出以来,它已经从论文最初的机器翻译领域,转向语音,图像,视频等等方面的应用。最近的SegmentAnything论文提出,阅读论文其中大量的transformer的在图像方面的应用。所以这里还是加紧记录下transformer相关内容。transformer初了解PositionalEncoding(位置编码)Self-attention(自注意力机制)