文本生成过拟合,泛化时语句不通!文本生成欠拟合,泛化时多样性差!

文本生成模型的过拟合,
会导致泛化时语句不通!

文本生成模型的欠拟合,
会导致泛化时多样性差!

经验之结论:
随着train-loss降低,对测试集生成的多样性确实会提升,但语句不通率也在提升。(综合效果没提升)
必须关注dev-loss!

你可能感兴趣的:(自然语言处理,深度学习,自然语言处理)