BERT fine-tune,loss不下降,训不动,固定分类到一类

语料应该没问题,不restore任何东西的话,都有效果。
模型换成google官方bert,分类器代码不变,没问题。

解决方案

bert_output = bert_model.get_pooled_output()

改为

bert_output = tf.reduce_mean(bert_model.get_sequence_output()[:,1:,:],1)

你可能感兴趣的:(自然语言处理NLP,TensorFlow)