【深度学习】beam search过程以及优缺点

beamsearch 的过程

Beamseach 是我们在生成任务中常用的技术，它是在测试的时候使用。

过程：

假设我们的单词表大小为50，我们设置的beam_size为5
在生成第一个单词的时候，选择概率最大的5个单词，假设为a,b,c,d,e
在生成第二个单词的时候，我们将第一步生成的5个单词和单词表中的每个单词进行组合，我们将得到5*50中组合，在这些组合中选择概率最高的5个
重复上述过程，直到达到结束条件（遇到结束符号或者达到最大长度）。选择概率最高的5个序列输出。

优点：

首先它可以一定程度上增加生成的多样性。
相比贪婪采样，他也可以防止我们在某一步出错后面的全部出错。

缺点：

随着beam_size的增大，对内存的占用率也会增大，生成的速度也会慢下来
生成的文本之间的相似度很高，多样性不足