基于transformer的BERT模型来做完形填空,直接无敌了

BERT是一个基于Transformer的模型,以自监督的方式在大型英语数据集上进行预训练。 这意味着BERT模型仅对原始文本数据进行预训练,没有人为的干预。其BERT模型通过自动过程从这些数据集中生成输入数据和标签。确切的说,BERT模型是为了两个目标而进行预训练的。:

基于transformer的BERT模型来做完形填空,直接无敌了_第1张图片

屏蔽语言建模 (MLM):取一个句子,模型随机屏蔽输入中 15% 的单词,然后通过模型运行训练,并预测屏蔽的单词。 这与传统的循环神经网络 (RNN) 不同,传统的循环神经网络通常会一个接一个的输入单词,也不同于 GPT 等自回归模型。

基于transformer的BERT模型来做完形填空,直接无敌了_第2张图片

句子预测(NSP):模型在预训练期间连接屏蔽两个句子作为输入。数据有时2个句子是相邻的句子,有时则不是,模型需要进行训练,来判断2个句子的相关性。

基于transformer的BERT模型来做完形填空,直接无敌了_第3张图片

BERT模型最初发布了2个版本,用于区分大小写和不区分大小写的输入文本。随着模型的

你可能感兴趣的:(人工智能之NLP自然语言处理,transformer,bert,深度学习)