self-attention和attention区别

在一般任务的Encoder-Decoder框架中,输入Source和输出Target内容是不一样的,比如对于英-中机器翻译来说,Source是英文句子,Target是对应的翻译出的中文句子,

Attention机制发生在Target的元素Query和Source中的所有元素之间。-----------------------------------------------------------------------------------------

而Self Attention顾名思义,指的不是Target和Source之间的Attention机制,而是Source内部元素之间或者Target内部元素之间发生的Attention机制,也可以理解为Target=Source这种特殊情况下的注意力计算机制。

其具体计算过程是一样的,只是计算对象发生了变化而已,所以此处不再赘述其计算过程细节。

https://zhuanlan.zhihu.com/p/37601161

你可能感兴趣的:(NLP,深度学习)