自然语言处理—BERT

BERT(Bidirectional Encoder Representations from Transformers)

在 ACL 上,Devlin, Chang, Lee 和 Toutanova 发表于 2019 的文章— BERT:Pre-training of deep bidirectional transformers for language understanding。

那么什么是 BERT 呢? 我们先从字面上解释一下什么是 BERT,我们将词分开来一个一个地看来解读什么是 BERT。

  • Bidirectional : 是双向神经网络,这个在学习 RNN 时候我们就了解到如何使用双向 RNN 让每一个词视野更加广阔,不但可以看到其前面词还能看到其后面的词
  • Encoder : 说明 BERT 是编码器
  • Representations : BERT 是完成词的表征的任务的模型,之前我们已经学过了了 word2vec
  • Transformer: 其实 BERT 就是 transform 解码器部分,表示 BERT 结构没有采用 LSTM 这样 RNN 结构,而是采用了 Transformer 这样结构来实现双向循环神经网,Transformer 对象 LSTM 的优势是并行计算

那么 BERT 用途是啥呢

自然语言处理—BERT_第1张图片
human_labeling.jpeg

我们先说 BERT 的优点,就是在训练 BERT 时候我们不需要人工数据集,随便那些文本资料就可以用于训练 BERT,这些文本可以小说、技术书刊、杂志或者是网页等等来做预训练。

自然语言处理—BERT_第2张图片
computing_power.png

但是 BERT 也不是完美无缺,BERT 需要大量算力才能进行 BERT 的训练

自然语言处理—BERT_第3张图片
recieve_message.jpg
  • 简单介绍一下 BERT 中的两个任务
  • 以及两个任务的作用
  • 如何将两个任务设计到一个网络结构中

双向变换器编码表征(Devlin at al, 2018)

  • 上下文
  • (巨大)的 transformer 编码器

| 版本 | block |hidden units |heads | parameters |GPU | time |
|---|---|---|---|---|---|---|---|
| Small | 12 | 768 | 12 | 110M | 16TPU | 14 days|
| Large | 24 | 1024 | 16 | 340M |

  • 如果要用亚马逊的服务可能要花费 1 万美元才能训练出小规模的 BERT

  • I went to the bank to deposit some money

  • I went to the back to sit down

预训练

  • 提高模型的泛化能力的方法

  • 随机遮挡一个单词,让编码器(encoder)根据上下文来预测被遮挡的单词

  • 将两句话放在一起,让编码器(encoder)来判断这两句话是不是原文中相邻的两句话

任务1—预测被遮挡的单词

自然语言处理—BERT_第4张图片
BERT_002.png
  • 输入是文本序列,经过预处理,有关如何对文本进行预处理之前已经给大家介绍过,将文本切分为单词
  • 经过 Embedding Layer 将每一个单词映射为词向量
  • 经过 Transformer 的编码器(Encoder) 后得到
自然语言处理—BERT_第5张图片
BERT_005.png
  • 从一句话中对所有 token 进行随机选取,每一个 token 选取可能性都是 15%
    • 80% 用 替换掉这个词
    • 10% 用一个 来替换掉这个词
    • 10% 用 cat 这个词
  • transformer 中有注意力机制,所以 和输入 并不是一对一映射,而是多对一映射。
自然语言处理—BERT_第6张图片
BERT_006.png

从上图不难看出 包含所有输入序列的单词信息,所以可以用 来预测遮挡位子的单词

自然语言处理—BERT_第7张图片
BERT_007.png

将特征向量 输入到一个 Softmax 分类器,经过 Softmax 分类器得到一个 p 向量,p 也是概率分布,我们希望 p 向量接近 cat 的 one-hot 向量

任务2—预测下一个句子

  • 50% 将下一句随机替换为
  • 将 Transformer 输出,输入到一个全联接层来预测序列对
  • 给定句子 calculus is a branch of math
  • 在原文中下一个句子是 it was developed by newton and leibniz
  • panda is native to south central china

接下来是如何制作数据集,就是将两句话拼接起来,在最第一句话前面添加 [CLS] 在两句话之间添加 [SEP] 表示分隔两句话

自然语言处理—BERT_第8张图片
BERT_011.png

其实之前有关 mask 掉一个词来通过预测 masked 的词来训练词向量,大家还能理解,但是对于为什么通过预测两个句子,大家可能就会有点摸不着头脑了,为什么这样做有易于词向量的训练呢?

  • 在 Transformer Encoder 有 self-attention 层,self-attention 就是要找相关性,这种任务便于找到相关性
自然语言处理—BERT_第9张图片
BERT_020.jpg

组合任务

自然语言处理—BERT_第10张图片
BERT_012.png
自然语言处理—BERT_第11张图片
BERT_015.png
小例子 1
  • input
    • calculus is a [MASK] of math
    • it [MASK] developed by newton and leibniz
  • Targets
    • true
    • branch
    • was
小例子 2
  • input
    • calculus is a branch of math
    • panda is native to [MASK] central china
  • Targets
    • flase
    • south

你可能感兴趣的:(自然语言处理—BERT)