自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)

自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第1张图片

公众号 系统之神与我同在

概述
ProphetNet: 用序列到序列预测N-gram. EMNLP- Findings 2020
增强版的知识注入模型来生成常识. COLING 2020.
BANG: 结合大规模预训练的自回归和非自回归生成. ICML 2021
Poolingformer: 集中注意力的长文档建模. ICML 2021
EL-Attention: 记忆效率,无损的生成注意力. ICML 2021
GLGE:一种新的通用语言生成评估基准. ACL-Findings 2021
ProphetNet: 用序列到序列预测N-gram
背景
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第2张图片
NLG with Trie
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第3张图片
Motivation Of ProphetNet
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第4张图片
Transformer的结构
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第5张图片
ProphetNet的结构
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第6张图片
ProphetNet训练
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第7张图片
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第8张图片
基于中文的任务
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第9张图片

实验结果
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第10张图片

摘要任务(英文)

自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第11张图片
问答生成任务(英文)
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第12张图片
在 CNN/DM 结果
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第13张图片
在Gigaword结果
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第14张图片
在SQuAD 1.1结果
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第15张图片
多语言实验结果
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第16张图片
增强版的知识注入模型来生成常识
Commengen任务
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第17张图片
目标
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第18张图片
增强知识注入
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第19张图片
问题的设置
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第20张图片

整体框架
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第21张图片
Group Embedding
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第22张图片

扩展模块
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第23张图片
Prototype 位置推理自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第24张图片
Prototype Collection

自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第25张图片
BANG: 结合大规模预训练的自回归和非自回归生成
bang的结构:
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第26张图片
实验
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第27张图片
问题生成任务结果
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第28张图片
抽象摘要任务结果
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第29张图片
回答生成任务结果自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第30张图片
Poolingformer: 集中注意力的长文档建模
Transformer 编码器

自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第31张图片
Longformer 和 Linformer
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第32张图片
Poolingformer 编码器
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第33张图片
计算复杂度
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第34张图片
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第35张图片文档级别的QA问答的Poolingformer
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第36张图片
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第37张图片
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第38张图片
EL-Attention: 记忆效率,无损的生成注意力
生成背景

自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第39张图片
Transformer
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第40张图片
多头——伤害缓存

自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第41张图片
EL-Attention

自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第42张图片
每个操作的配置
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第43张图片
实验的速度比较

自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第44张图片
不同批量大小的度量
在这里插入图片描述
GLGE:一种新的通用语言生成评估基准
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第45张图片
GLGE Leaderboard
自然语言生成与应用 (校对纠错算法排序的真谛就是靠生成模型)_第46张图片

你可能感兴趣的:(文本校对和纠错算法,算法,机器学习,深度学习)