深度学习14—注意力机制与自注意力机制

注：以下均为个人学习笔记，发布只为方便学习阅读，若觉侵权，请联系删除！！ 

1.李沐老师课堂学习理解笔记

1.1 随意线索和不随意线索

1.2 注意力机制

通过注意力池化层来有偏向性的选择某些输入。

 

1.3 注意力池化层

1.3.1 非参数化注意力机制

理解：Q（query）即为随意线索，可以通过对值V(value)做重要性加权得到。在这里，值V（value）和不随意线索K（key）是一个对。（对应关系）。

 

 

1.3.2 参数化的注意力机制

 1.4 总结

1.5 代码

 

 

 

 

 

 

2.自注意机制（self-attention） 

2.1 Q,K,V的理解 

 

 2.2 Attention(Q,K,V)

 2.3 代码

 

2.4 位置编码

 

 2.5 多头注意力机制