transformer decoder层 cross attention

transformer decoder层 cross attention_第1张图片

 cross attention中K、V是encoder层生成的,Q是decoder生成的。

transformer decoder层 cross attention_第2张图片

 encoder输出传递到decoder的每一层

你可能感兴趣的:(transformer)