一张图系列 - “CausalSelfAttention”

#目的#: 希望只需要复习一次就ok拉~

主要内容为:

  1. 不同attention的实现,简易版&正式版;
  2. multi head attention的原理结构;
  3. multi head attention的代码分析;

文章首发在“小晨的AI工作室”
因为无法上传高清大图,请公众号回复“CausalSelfAttention”进行下载原图。

你可能感兴趣的:(算法,大模型,Attention,注意力机制)