transformer基础知识集锦

1、self attention  及 multi-head self-attention

(1)基础图解

Multi-headed Self-attention(多头自注意力)机制介绍 - 知乎

图解超级清楚~ 每一步都有明确说明

(2)代码实现

多头注意力机制 +代码解读_小郭小郭学富五车的博客-CSDN博客_多头注意力机制代码

Transformer中的多头自注意力在代码层面如何实现? - 知乎

2、cross-attention 

(1)基础图解

2个序列 S1,S2(与self-attention最大的不同点)

计算S1的K,V

计算S2的Q

【科研】浅学Cross-attention?_MengYa_DreamZ的博客-CSDN博客

(2)代码实现

3、Criss-Cross attention

CCNet: 用于语义分割的交叉注意力机制 - 知乎

4、(未完待续)

你可能感兴趣的:(计算机视觉,transformer,深度学习,人工智能)