14 Positional Encoding (为什么 Self-Attention 需要位置编码)

博客配套视频链接: https://space.bilibili.com/383551518?spm_id_from=333.1007.0.0 b 站直接看
配套 github 链接:https://github.com/nickchen121/Pre-training-language-model
配套博客链接:https://www.cnblogs.com/nickchen121/p/15105048.html

厚颜无耻的要个赞

Attention

优点:

  1. 解决了长序列依赖问题
  2. 可以并行

缺点:

  1. 开销变大了

  2. 既然可以并行,也就是说,词与词之间不存在顺序关系(打乱一句话,这句话里的每个词的词向量依然不会变),即无位置关系(既然没有,我就加一个,通过位置编码的形式加)

位置编码的

你可能感兴趣的:(数字孪生,管理体系,数据中台,语言模型,人工智能)