self-attention结构、公式计算与代码实现(无位置信息)

self_attention的结构图(multi_head):

self-attention结构、公式计算与代码实现(无位置信息)_第1张图片

self_attention的无位置信息的前向传播计算方法与代码实现: 

self-attention结构、公式计算与代码实现(无位置信息)_第2张图片

你可能感兴趣的:(机器学习)