论文解读BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation,
简介众所周知bert的encoder形式不适合做生成式任务。transformerdecode形式在生成式方面有着非常好的表现。bart基本就是一个标准的sequencetosequence形式的transformer。其在文本摘要,问答等方面有着sota的表现。模型介绍bart基本是标准的sequencetosequence形式的transformer,只不过其中的激活函数换成了gelu。ten