法研杯

法研杯

  • 官网 cail.cipsc.org.cn/ranking.htm…
  • github github.com/china-ai-la…
  • 参考代码
  1. pytorch bert实现 github.com/circlePi/20…
  2. 官方bidaf baseline github.com/china-ai-la…

数据集信息

total articles: 2000
total paragraphs: 2000
total questions: 10000
long_answer:  8249 yesno:  1259 no_answer 492
复制代码

pytorch_bert 使用

首先要把谷歌的ckpt转成pytorch的格式,转换脚本:github.com/huggingface…

使用convert_tf_checkpoint_to_pytorch.py脚本,你可以在PyTorch保存文件中转换BERT的任何TensorFlow检查点(尤其是谷歌发布的官方预训练模型)。

这个脚本将TensorFlow checkpoint(以bert_model.ckpt开头的三个文件)和相关的配置文件(bert_config.json)作为输入,并为此配置创建PyTorch模型,从PyTorch模型的TensorFlow checkpoint加载权重并保存生成的模型在一个标准PyTorch保存文件中,可以使用 torch.load() 导入(请参阅extract_features.py,run_classifier.py和run_squad.py中的示例)。

只需要运行一次这个转换脚本,就可以得到一个PyTorch模型。然后,你可以忽略TensorFlow checkpoint(以bert_model.ckpt开头的三个文件),但是一定要保留配置文件(bert_config.json)和词汇表文件(vocab.txt),因为PyTorch模型也需要这些文件。

要运行这个特定的转换脚本,你需要安装TensorFlow和PyTorch。该库的其余部分只需要PyTorch。

转换示例:

(tf13) [root@gpu-4 chinese_L-12_H-768_A-12]
python ../convert_tf_checkpoint_to_pytorch.py --tf_checkpoint_path=bert_model.ckpt --bert_config_file=bert_config.json --pytorch_dump_path=pytorch_model.bin
复制代码

你可能感兴趣的:(法研杯)