初学谷歌bert模型的预训练和fine-tuning微调

从开始学bert到现在用自己数据跑通bert预训练和微调,已经过去半个多月近三周了,查了很多资料和博客,记录一下自己的历程,也帮助其他入门者更好的了解bert模型。

0. 本文概览

已经来看这篇博客了,bert是什么应该不用多说啦。后面主要叙述我用自己数据预训练和微调的过程。
环境:pycharm——anaconda——tensorflow1.13.1-gpu——谷歌bert中文句子分类
本文所用的环境快速配置方法:
参考过的还不错的博文:(我是在自己理解上对他们的一个整合)

1. 预训练

具体过程参考这一篇哦,跟着步骤走就可以啦,本文不赘述啦。用自己的数据预训练bert
-------我还需要补充一些需要注意的地方,我卡了两天的bug,希望可以帮到你。

  1. 自己的数据文件,编码格式要改成utf-8哦,在txt另存的时候更改并替换一下就好啦。

  2. 地址一定要绝对路径哦,如果你对自己相对路径很自信也可以。记得在路径的引号前加’r’;就像这样:初学谷歌bert模型的预训练和fine-tuning微调_第1张图片

  3. 如果路径不对,会一直报一个错:在这里插入图片描述如果不幸你也遇到了,请参考报错原因第一条,这个我中了,tfrecord文件有问题。这个文件需要create-pretraining-data文件生成,再由后边的run-pretraining文件调用,我报错是因为前者没有生成,或生成的有问题。可以顺着路径用txt打开检查一下,如果生成不了就多试几次。
    (这个错,很多人都报过,自信点,自己的内存条和磁盘没有坏,后边指定路径的文件也没有损坏。【它不是一个头痛医头,脚痛医脚的问题】,出现它的主要原因是,教程里面让你改的路径,你没有改对,它找不到文件,就给你报这个错误。)

到这里,我的预训练就已经跑起来了,还没有跑完。

2. fine-tuning微调

再次偷个懒,教程交给别人来做,我就讲一下我遇到的bug。
过程连接请点我
今天累了,欲知后事如何,且听下回分解。

你可能感兴趣的:(bert,python,人工智能)