在Colab中使用谷歌的阅读理解算法BERT

以下翻译自google-research/bert：

在撰写本文时（2018年10月31日），Colab用户可以完全免费访问Cloud TPU。

image

BERT，预训练语言理解的新方法，它可以在各种自然语言处理（NLP）任务中获得目前最好的结果。 学术论文：arxiv.org/1810.04805。该Colab演示了使用免费的Colab Cloud TPU来微调基于预训练BERT模型构建的句子和句子对分类任务。 注意：您需要GCP（Google Compute Engine）帐户和GCS（Google云端存储）存储桶才能运行此Colab。 请关注如何创建GCP帐户和GCS存储桶的Google Cloud TPU快速入门。 您可以获得300美元的免费积分来开始使用任何GCP产品。 您可以访问https://cloud.google.com/tpu/docs了解有关Cloud TPU的更多信息。

常问问题

此代码是否与Cloud TPU兼容？GPU怎么样？

是的，此存储库中的所有代码都可以与CPU，GPU和云TPU一起使用。但是，GPU培训仅适用于单GPU。

我得到内存不足的错误，出了什么问题？

有关更多信息，请参阅有关内存不足问题的部分。

有PyTorch版本吗？

没有正式的PyTorch实现。然而，来自HuggingFace的NLP研究人员提供了 PyTorch版本的BERT， 它与我们预先训练好的检查点兼容，并且能够重现我们的结果。我们没有参与PyTorch实现的创建或维护，因此请向该存储库的作者提出任何问题。

有Chainer版本吗？

没有正式的Chainer实施。然而，Sosuke Kobayashi制作了Biner的Chainer 版本， 该版本与我们预先训练好的 检查点兼容，并且能够重现我们的结果。我们没有参与Chainer实施的创建或维护，因此请向该存储库的作者提出任何问题。

是否会发布其他语言的模型？

是的，我们计划在不久的将来发布多语言BERT模型。我们无法确定将包含哪些语言，但它可能是一个单一的模型，其中包括大多数具有相当大的维基百科的语言。

模型是否会大于BERT-Large发布？

到目前为止，我们还没有尝试过训练任何大于的东西BERT-Large。如果我们能够获得重大改进，我们可能会发布更大的模型。