image caption笔记（十）：一些实现过程中的小细节

1、beam search 一方面可以提升指标，另一方面也可以解决生成的句子不通顺的问题。因此，不管是在训练测试的过程中都要开beamsearch ，对提高指标有帮助。还有就是，如果训练的时候 beam size设置为1，而只是在测试的时候使用beamsearch，原本好的模型可能会变得还不如原本差的模型。也就是，beam size=1下的好的模型 到了beam size=5下未必还能继续好。
2、交叉熵训练的过程中开 scheduled_sample 解决一次预测错 后面全部预测错的问题（exposure bias）。强化学习（比如CIDER引导优化）目的在于（1）解决exposure bias问题 （2）训练目标和评价指标的不一致  但是在强化学习训练的时候，仍然要开 scheduled_sample ，因为对提升指标会有帮助。
3、RL加beam search训练的模型只比RL加greedy decoding训练的模型有少量的提升（但是消耗时间）
（待续）