注意力机制笔记——结合沐神和B站老弓up主

B站【大白话浅谈【注意力机制】】

聚类 是针对 样本,
注意力机制是针对样本相关性,来进行计算的
注意力机制笔记——结合沐神和B站老弓up主_第1张图片

注意力机制笔记——结合沐神和B站老弓up主_第2张图片
注意力机制笔记——结合沐神和B站老弓up主_第3张图片

自注意力机制

指的是 query ,key,value都是同一个部分。
注意力机制笔记——结合沐神和B站老弓up主_第4张图片
可以学到 类似的 短语 ,和 语义特征。如its 指代的对象。
注意力机制笔记——结合沐神和B站老弓up主_第5张图片

评论区大佬

根据这篇论文《Effective Approaches to Attention-based Neural Machine
T

你可能感兴趣的:(深度学习理论和实践应用,机器学习,深度学习,人工智能)