注意力机制中的Q、K和V的意义

注意力机制中的Q、K和V的意义_Takoony的博客-CSDN博客_注意力机制qkv(这个讲的比较细致,透彻)

Non-local Neural Networks - 影醉阏轩窗 - 博客园

自己对三个变量在图像中的理解

首先:Q与K的理解

Q:在图像里面就是将图像摊平变成H*W

K:在图像里面也是将图像摊平变成H*W

V:在图像里面也是将图像摊平变成H*W(它的维度是和K相同的)

首先求出各个像素之间的相关性权值 = softmax\left ( K\ast Q^{T} \right ),然后将求得权值在与V相乘就得到加强的特征图谱。

以上是我的简单理解,如有错误请批评指正!!!!!


你可能感兴趣的:(文献阅读,深度学习,人工智能)