NER数据增强、badcase处理、数据优化

• 如何修正NLP问题的bad case
• NLP.TM | 近期做NER的反思

一、数据增强

在NLP层面思考数据量不足（冷启动）的问题，数据增强其实是一个还不错的策略。

• 调整词句顺序。短句用词维度，长句可以n-gram或者是句子级别的调换顺序。
• 对NER，可以把特定槽位里面的词替换为其他同类型的词，当然文本分类也可以这么做。（收益大）
• 总结规则模板，直接生成数据。（收益不小）
• 复制粘贴。（数据量少时收益不明显，数据量大以后有少量收益）
  • 复制粘贴也是有技巧的，例如拿一些比较差的bad case的特色case生成纠正后放入训练集。

注意：不要盲目地就做这个数据增强，而是在进行了一轮试验后，经过bad case分析发现一些数据量问题或者是覆盖率不足的问题时，再来尝试数据增强，毕竟数据增强是会引入过拟合风险的。

二、开源数据优化

 NER优化，首先采用的就是加开源数据，会有很好的泛化效果：

积累语料：