三篇助你理解Transformer 中的 Query、Key 与 Value

如何理解 Transformer 中的 Query、Key 与 Value

这一篇主要是帮助你用比喻的手法来了解一下

attention机制中的query,key,value的概念解释

这一篇帮你用图来了解过程

如何理解 Transformer 中的 Query、Key 与 Value

这一篇总结收尾

就是

Query*Key其实就是计算相关度或叫依赖度，然后经过softmax转为权重，针对可能的y计算加权和就得到最终的结果了。

其实就是用你Query*Key算出来一个权重，然后再跟value计算一下子，出来了attention结果。