法研杯

法研杯

• 官网 cail.cipsc.org.cn/ranking.htm…
• github github.com/china-ai-la…
• 参考代码

1. pytorch bert实现 github.com/circlePi/20…
2. 官方bidaf baseline github.com/china-ai-la…

数据集信息

total articles: 2000
total paragraphs: 2000
total questions: 10000
long_answer:  8249 yesno:  1259 no_answer 492
复制代码

pytorch_bert 使用

首先要把谷歌的ckpt转成pytorch的格式，转换脚本：github.com/huggingface…

使用convert_tf_checkpoint_to_pytorch.py脚本，你可以在PyTorch保存文件中转换BERT的任何TensorFlow检查点(尤其是谷歌发布的官方预训练模型)。

这个脚本将TensorFlow checkpoint（以bert_model.ckpt开头的三个文件）和相关的配置文件（bert_config.json）作为输入，并为此配置创建PyTorch模型，从PyTorch模型的TensorFlow checkpoint加载权重并保存生成的模型在一个标准PyTorch保存文件中，可以使用 torch.load() 导入（请参阅extract_features.py，run_classifier.py和run_squad.py中的示例）。

只需要运行一次这个转换脚本，就可以得到一个PyTorch模型。然后，你可以忽略TensorFlow checkpoint(以bert_model.ckpt开头的三个文件)，但是一定要保留配置文件(bert_config.json)和词汇表文件(vocab.txt)，因为PyTorch模型也需要这些文件。

要运行这个特定的转换脚本，你需要安装TensorFlow和PyTorch。该库的其余部分只需要PyTorch。

转换示例：

(tf13) [root@gpu-4 chinese_L-12_H-768_A-12]
python ../convert_tf_checkpoint_to_pytorch.py --tf_checkpoint_path=bert_model.ckpt --bert_config_file=bert_config.json --pytorch_dump_path=pytorch_model.bin
复制代码