注意力机制

故名思意,研究这个机制就是为了
使用重要数据
不使用不重要的数据

对于一个模型而言(CNN、LSTM),很难决定什么重要,什么不重要
由此,注意力机制诞生。
注意力机制_第1张图片
科学家发现给这张图,眼睛重点聚集在红色区域。
这些红色区域可能包含更重要的信息。

注意力机制:我们会把我们的焦点聚焦在比较重要的事务上

我(查询对象 Q),这张图 (被查询对象)
我看这张图,第一眼,去判断那些东西对我更重要,哪些对我更不重要(计算Q和V里的事物的重要程度)

重要度计算 等价于 相似度计算,点乘就是求内积。

具体可见: 注意力机制中Q和K相乘的意义是什么?为什么Q和K相乘就可以得到它们之间的相似性/权重矩阵呢?

注意力机制_第2张图片
进而可以知道哪个对Q而言更重要了。
注意力机制_第3张图片
还得进行汇总,找到这些目标后,Q已经失去了使用价值了,现在图片多了一些信息(于我而言更重要、更不重要的信息)。

v是源数据,Q和K共同组成了V,
在这里插入图片描述
通过上述变换,就得到一个新的V ,这个新的V 包含了,那些更重要,那些更不重要的信息在里面。

你可能感兴趣的:(注意力机制)