GAN学习笔记-李宏毅：GAN Lecture 9 (2018): Sequence Generation

李宏毅老师讲解的 GAN Lecture 9 (2018): Sequence Generation

Conditional Sequence Generation

用maximize likelihood（也可以称为minimize cross entropy）训练seq2seq model 的问题是training criterion很难选到合适的

by RL improving

policy gradeint

与普通Gradient更新（更新一次参数，再求一个gradient，再更新…）的不同，在这里更新参数后需要返回互动，需要重新互动N收集数据，然后再求gradient，再更新参数…

• comprasion: RL每个training data有自己的weight
  
  对于R(c,x)恒为正的情况，通常处理是一起减掉一个threshold，让它变得有正有负
• RL的困难是：机器需要跟人/环境互动很多次，在真实情境很难实现 -> alpha GO style-让两个机器自己互动，在这种方法中的问题是evaluation function是人定的，而定义出合适的evaluation function其实是很难的-> use GAN to improving
  

use GAN to improving

• 难点：seq2seq model + discriminator是没有办法做微分的（因为token是通过sampling的方式获得的，当整个network中有一个sampling process时，是没有办法进行微分的，基于微分的定义（输出的改变除以输入的改变）因为对分布修改参数后sampling出来的token其实是不一样的，对output的影响是不确定的）
  
• 解决方法
  
  continuous Input for discriminator
  

problem：real is one-hot, fake is not one-hot
解决方法：考虑WGAN

reinforcement learning

R -> D
用GAN来train seq2seq model

在实做上会有一点问题：I下降

解决方法：对每一个time step做generation

• 试验结果：一般方法会比较常出现 I’m sorry / I don’t know, GAN 则趋向于产生更长的句子
  

unsupervised conditional sequence generation

• text style transfer
  

• unsupervised abstractive summarization(摘要生成)

硬train需要大量的训练样本（百万级）

unsupervised 应用

两个不相关的domain数据，没有对应的关系，用circle GAN硬做

• 英文转中文、法文。。。。
• 语音转文本。。。