bert系列模型继续预训练(Pytorch)

1、前言

在数据脱敏比赛或者某些垂类领域中,使用该领域的文本继续预训练,往往可以取得一个更好的结果。这篇文章主要讲我目前使用过的两种预训练方法。

2、两种训练框架

(1)采用transformer中Trainer

可根据实际情况,通过 model.resize_token_embeddings(len(tokenizer)) 重新定义词表的大小。

输入data格式为:以每行一个文本为单位进行mask,具体mask策略在DataCollatorForLanguageModeling中,可根据需要自行修改。

(2)采用涂涂乐大佬开源的方法

首先使用prepare_lm_data_mask.py生成mask数据,具体mask策略可在这进行更改;
输入data格式为:一行一个句子,同一文章的句子用’\n’分割;不同文章之前用’\n\n’分隔(即空一行)。

然后使用run_pretraining.py继续预训练即可。

3.总结

如果预训练xlnet、albert等系列模型,只需要修改对应的mask格式,将***ForMaskedLM换成对应的模型即可(transormers中基本都有,nezha模型可参考github )。

你可能感兴趣的:(nlp,pytorch,预训练,脱敏数据,nezha,bert)