bert做文本摘要_一种基于BERT的自动文本摘要模型构建方法

一种基于

BERT

的自动文本摘要模型构建方法

岳一峰

;

黄蔚

;

任祥辉

【期刊名称】

《计算机与现代化》

【年

(

卷

),

期】

2020(000)001

【摘要】

针对传统词向量在自动文本摘要过程中因无法对多义词进行有效表征

而降低文本摘要准确度和可读性的问题

,

提出一种基于

BERT(Bidirectional

Encoder Representations from Transformers)

的自动文本摘要模型构建方法

.

该方法引入

BERT

预训练语言模型用于增强词向量的语义表示

,

将生成的词向量

输入

Seq2Seq

模型中进行训练并形成自动文本摘要模型

,

实现对文本摘要的快

速生成

.

实验结果表明

,

该模型在

Gigaword

数据集上能有效地提高生成摘要的

准确率和可读性

,

可用于文本摘要自动生成任务

.

【总页数】

6

页

(63-68)

【关键词】

文本摘要

; BERT

模型

;

注意力机制

; Sequence-to-Sequence

模型

【作者】

岳一峰

;

黄蔚

;

任祥辉

【作者单位】

华北计算技术研究所

北京

100083

【正文语种】

中文

【中图分类】

TP391.1

【相关文献】

1.AM-BRNN:

一种基于深度学习的文本摘要自动抽取模型

[J],

沈华东

;

彭敦陆

2.

基于自交互注意力机制的文本摘要方法

[J],

丰冲

;

潘志强

;

撒红

;

陈洪辉

3.

一种基于

TextRank

的中文自动摘要方法

[J],

石元兵

;

周俊

;

魏忠

4.ALICE:

一种面向中文科技文本分析的预训练语言表征模型

[J],

王英杰

;

谢彬

;