【NLP】用BERT进行机器阅读理解

作者 | Edward Qian

编译 | VK
来源 | Towards Data Science

这里可以找到带有代码的Github存储库:https://github.com/edwardcqian/bert_QA。本文将讨论如何设置此项功能.

---

机器（阅读）理解是NLP的领域，我们使用非结构化文本教机器理解和回答问题。

https://www.coursera.org/specializations/deep-learning?ranMID=40328&ranEAID=J2RDoRlzkk&ranSiteID=J2RDo.Rlzkk-XtffRH2JEnDifWa3VrZJ1A&siteID=J2RDo.Rlzkk-XtffRH2JEnDifWa3VrZJ1A&utm_content=2&utm_medium=partners&utm_source=linkshare&utm_campaign=J2RDoRlzkk

2016年，斯坦福德NLP将由超过100000对问答对组成的SQuAD （斯坦福问答数据集）集合在一起，这些数据集由维基百科文章编制。挑战是训练一个机器学习模型，以基于上下文文档回答问题。

当提供上下文（自由文本）和问题时，模型将返回最有可能回答问题的文本子集。

世界上顶尖的人工智能从业人员解决了这个问题，但两年后，没有一个模型能超越人类的标准。然而，2018年底，谷歌大脑引入了通用语言理解模型BERT（Transforms的双向编码器表示）。经过一些微调，与小组测试集相比，该模型能够超越人类的基准。

来自论文：https://arxiv.org/pdf/1606.05250.pdf，这些是用于评估的指标：

完全匹配。这个度量标准衡量的是精确匹配任何一个真实答案的百分比。

（宏平均）F1得分。这个度量了预测和真实答案之间的平均重叠。我们把预测和真实标签当作token列表，并计算它们的F1。我们对给定问题的所有真实答案取最大F1，然后对所有问题取平均值。

基于初始的团队数据集：

• 人类注释者的精确匹配得分为82.304%，F1得分91.221%

• 原BERT模型获得85.083%的精确匹配分数，F1得分91.835%

---

今天，我将向你演示如何使用BERT建立自己的阅读理解系统。这里可以找到带有代码的Github存储库。

https://github.com/edwardcqian/bert_QA

先设置Docker。????

设置Docker

Docker对于容器化应用程序很有用。我们将使用Docker使这项工作更为有用，结果更可重复。按照以下说明在系统上安装Docker。

你还需要docker compose，它是在macos和windows上与docker一起提供的。如果你使用Linux，可以在此处安装它：https://runnable.com/docker/introduction-to-docker-compose

从Github仓库保存代码

除了训练过的数据和预训练的权重之外，所有代码和必要的依赖项都在repo中。注意：只有当你想自己训练模型时，才需要数据。如果没有，你可以使用我预训练过的权重。另一个注意：除非你有一个强大的GPU或大量的时间，否则我不建议训练这个模型。

如果你想亲自训练模型…

在这里下载Team2.0数据集：https://rajpurkar.github.io/SQuAD-explorer/。将“Training Set v2.0”和“Dev Set v2.0”保存到bert_uqa/data。

如果你想使用预训练的权重…

我已经针对SQuAD 2.0训练了模型。你可以在这里下载。解压缩文件并保存内容asbert_uqa/weights。

创建Docker容器

Docker容器是使用Docker映像中提供的指令构建的工作环境。我们需要一个docker-compose.yaml配置文件来定义容器的外观。

version: '3'
services:
    pytorch:
        image: 'edwardcqian/huggingface_transformers_pytorch:2.5.1'
        tty: true
        restart: always
        volumes:
            - ./:/workspace

我为huggingface的Pytorch Transformer制作了一个定制的docker镜像，你可以在dockerhub上找到。为了本教程的目的，你不需要像配置文件那样拉取任何镜像。配置文件还将本地bert_QA文件夹作为容器中的/workspace。

• 通过在terminal/shell根目录中运行docker compose up-d来启动容器。第一次将需要几分钟。

• 检查我们的包含是否已启动，并使用Docker ps运行。

• 将bash shell附加到正在运行的容器：

docker exec -it  bash

训练模型

如果你使用我的预训练的权重，请跳过此步骤。我们将使用huggingface提供的默认训练脚本来训练模型。

在bash shell中运行此命令：

python run_squad.py \
  --model_type bert \
  --model_name_or_path bert-base-uncased \
  --do_train \
  --do_eval \
  --do_lower_case \
  --train_file data/train-v2.0.json \
  --predict_file data/dev-v2.0.json \
  --per_gpu_train_batch_size 12 \
  --learning_rate 3e-5 \
  --num_train_epochs 2.0 \
  --max_seq_length 384 \
  --doc_stride 128 \
  --output_dir weights/

注意：如果没有GPU，则per_gpu_train_batch_size将不会做任何操作

这将训练模型权重并将其保存到权重目录。

用模型进行推断

现在让我们用这个模型来做一些酷的事情。

在shell中启动ipython会话，并导入ModelInference模块以从weights/加载权重。将上下文文档作为参数传递给mi.add_target_text()。

摄入语料库后，使用mi.evaluate()提问。只有当模型确信答案存在于文本中时，模块才会返回答案。否则，模型将输出“找不到有效答案”。

from model_inference import ModelInference

mi = ModelInference('weights/')

mi.add_target_text((
  'The Normans (Norman: Nourmands; French: Normands; Latin: Normanni) '
  'were the people who in the 10th and 11th centuries gave their name to '
  'Normandy, a region in France. They were descended from Norse '
  '(\"Norman\" comes from \"Norseman\") raiders and pirates from Denmark, '
  'Iceland and Norway who, under their leader Rollo, '
  'agreed to swear fealty to King Charles III of West Francia. '
  'Through generations of assimilation and mixing with the native '
  'Frankish and Roman-Gaulish populations, their descendants would gradually '
  'merge with the Carolingian-based cultures of West Francia. '
  'The distinct cultural and ethnic identity of the Normans emerged initially '
  'in the first half of the 10th century, '
  'and it continued to evolve over the succeeding centuries.'
))

mi.evaluate('Where is Normandy')
# france

mi.evaluate('What are Normans called in latin?')
# normanni

mi.evaluate('When was normandy named?')
# in the 10th and 11th centuries

mi.evaluate('What kind of songs did the Normans sing?')
# No valid answers found.

mi.evaluate('What is you quest?')
# No valid answers found.

结论

NLP在过去几年里已经走了很长的路。预训练的BERT权值对NLP的影响与AlexNet对图像识别的影响相似。它为自然语言理解提供了许多新的应用。

往期精彩回顾



适合初学者入门人工智能的路线及资料下载机器学习及深度学习笔记等资料打印机器学习在线手册深度学习笔记专辑《统计学习方法》的代码复现专辑
AI基础下载机器学习的数学基础专辑温州大学《机器学习课程》视频
本站qq群851320808，加入微信群请扫码：