BERT的应用

tf.train.Example的用法

tf.train.Example主要是生成二进制文件

TFRecord + Dataset

BERT使用上面的方法对训练数据和测试数据生成二进制文件并进行读取

tf.estimator.Estimator

BERT使用Estimator对训练和预测进行封装(详细查询使用的好处)

tf.estimator.EstimatorSpec讲解

!!BERT使用Estimator之后不用设置placeholder

BERT中github地址

运行github的BERT进行训练的时候会报错Hint: If you want to see a list of allocated tensors when OOM happens

报错解决办法

可以设置batch_size为32,max_lenght=100

你可能感兴趣的:(NLP)