CH4-NLG研究、现状和未来的思考

文章目录

    • 1. NLG现状
    • 2. NLG研究:我们现在在哪儿?以后要去哪里?
    • 3. NLG更为成熟
    • 4. 从事NLG工作让讲师学到的8件事

1. NLG现状

  1. 在NLG过程中引入离散隐变量。可能对故事生成、任务型对话有帮助。
  2. 不再是从左到右的顺序生成了。对于长文本生成的问题,在并行化生成、迭代优化和自顶向下生成上都有了新的研究。
  3. 训练过程也不再只是最大似然的优化函数了,出现了更多句子粒度的目标函数。

2. NLG研究:我们现在在哪儿?以后要去哪里?

直到5年前,NLP+DL都是探索期;2019年的现在,好像有点进展了,但是NLG仍然是最待开发的大草原!

3. NLG更为成熟

  1. NLP+DL早期,主要还是尝试把已经非常成熟的NMT方法往NLG任务上搬
  2. 而现在,NLG已经有了更多新的算法,而且已经摆脱了NMT的相关算法配置
  3. NLG领域(特别是开放式NLG)的研讨会和比赛也日益增多
  4. 以上也都有助于研讨会更多更好更标准
  5. 最大的绊脚石就是评价!

4. 从事NLG工作让讲师学到的8件事

  1. 越是开放式的NLG任务,难度就越大,这个时候可以引入一些限制条件。
  2. 不要想着一次优化全部生成效果,可以进行分体拆解,逐个击破
  3. 如果使用LM进行NLG,如果能提高LM表现(比如困惑度perplexity可能很大程度上就提高了整体的生成效果。当然,这绝不是唯一一个有助于提高生成质量的方法。
  4. 多康康你生成了什么玩意儿!
  5. 就算自动评价效果不好,你也需要有一套,甚至几套!
  6. 如果真的要进行人工评价,把标准定得尽可能详尽
  7. NLP+DL现在最大的问题是不能复现,所以把你的生成结果和使用的方法感觉发表出来
  8. 这个过程是非常令人沮丧的,当然也是很有趣的。

你可能感兴趣的:(NLG,学习笔记)