datawhale 8月学习——NLP之Transformers:attention和transformers
结论速递这次学习的内容较多,最核心的知识点其实在于理解attention的作用,其实现的关键步骤,self-attention的诞生及其作用。理解了之后Transformer的搭建就显得容易理解很多。在这次笔记中,第一部分简单介绍了问题背景,第二部分首先介绍了处理自然语言的Seq2seq结构,并引入了Attention机制,在这部分介绍中讲述了在Seq2seq中引入Attention的目的,键值对