NMT、enc-dec的一些笔记

传统的Encoder-Decoder

1、在编码的时候，接收输入 X=⟨x1,x2,…,xT⟩ X = ⟨ x 1 , x 2 , … , x T ⟩ ，生成context vector C C
2、训练阶段，在解码的时候

2.1、从 C C 出发预测 ŷ 1 y ^ 1 ，再依次用 ŷ i−1 y ^ i − 1 预测 ŷ i y ^ i ，即使用预测的 Ŷ  Y ^ 而不是真实值 Y Y ，这样的做法就是让模型自己去学习。这样容易产生误差累积的问题，导致模型学习收敛比较慢。

2.2、如果每次使用真实值的 yi−1 y i − 1 来作为输入生成预测值 ŷ i y ^ i ，这样的做法就是teacher forcing，也就是加入教师强制指导，这样的好处就是更快的收敛，但是更偏向于单个正确值预测，而在测试的时候这种教师信息是没有的，因此可能导致模型的泛化能力不够。

3、因此可以设定一个比例，作为两种方式的折中