Bert踩坑总结—————分类准确率过低

使用bert进行文本分类,主要踩的坑有:

  1. 数据格式,看自己写的类中如何提取标签和文本
  2. fine-tuning的配置,除了指定文件路径外,可以调整学习率为万分之一到十万分之一之间
  3. fine-tuning中train.sh看是哪个模型保存了,要在predict.sh中引用
  4. 如果运行结果多次不变,就删除eval_output中的模型,重新跑一次

数据集一定要Shuffle!!!!这是我调试bert踩的最大的坑,如果未shuffle,得到的验证集准确率只要18%,这个的原因主要是进行训练时是通过batchsize中的数据进行的,而未经shuffle的数据只包含某一类,所以训练并不完全。

最后结果:

Bert踩坑总结—————分类准确率过低_第1张图片

Bert踩坑总结—————分类准确率过低_第2张图片

从之前看attention transformer bert到运行代码,终于跑通!!!结果比之前bi-lstm+Word2vec提升了5个百分点吧!!!

继续冲鸭!!!

你可能感兴趣的:(nlp)