训练技巧

训练技巧

• focal loss：解决类别不平衡、分类难度差异的问题，效果更好。
• 学习率下降
• 数据扩增
  • 找更多的标签数据
  • 一个句子重复拼接、随机去掉若干个词、打乱词序，类别不变。
  • 随机挑两个同类句子，拼接成一个新句子，类别不变。
  • none of above：收集更多的其他语料，将分类器多加 1 类，新语料都归为新类。
• 分词，准备领域相关的词表，优化分词效果，jieba 分词关闭新词发现功能
• 词向量：准备领域相关的预料，训练 Skip Gram 模型（耗时更多时间，但能保证效果）
• 正则化：Dropout（设置 noise_shape）

交叉验证与融合

• 交叉验证
• 单模型融合：交叉验证训练的 n 个模型求平均
• 多种模型融合：m 种不同的模型，每种模型做 n 划分交叉验证，得到 mn 个模型，通过新的模型融合 mn 个模型

https://spaces.ac.cn/archives/4823
https://www.cnblogs.com/king-lps/p/9497836.html