Teacher-Forcing, Student-Forcing, Schedual sampling , Teacher-Recommended and Professor-Forcing训练策略
「Teacherforcing」如果我们能够在每一步的预测时,让老师来指导一下,即提示一下上一个词的正确答案,decoder就可以快速步入正轨,训练过程也可以更快收敛。因此大家把这种方法称为teacherforcing。所以,这种操作的目的就是为了使得训练过程更容易。缺点:(1)预测(inferencestage)时我们没有老师给你做标记了!纯靠自己很可能挂掉。(2)对于NMT任务来说,不可能保证