【NLP之transformer | Datawhale-9月】Task02:学习Attention和Transformer
1图解Attention问题:Attention出现的原因是什么?潜在的答案:基于循环神经网络(RNN)一类的seq2seq模型,在处理长文本时遇到了挑战,而对长文本中不同位置的信息进行Attention有助于提升RNN的模型效果。(1)名词理解:1、循环神经网络:循环神经网络(RecurrentNeuralNetwork,RNN)是一类以序列(sequence)数据为输入,在序列的演进方向进行递