python自然语言处理—Beam Search及其优化方法—two

                                                Beam Search及其优化方法(two)

 

上一篇文章我们介绍了基础版的 Beam Search 及其优化方法,这篇文章接着对上一篇文章进行扩展,可以在模型不改的情况下获得更好的生成结果。文章主要围绕论文《The Curious Case of Neural Text Degeneration》展开。

 

Beam Search 存在的问题

    Beam Search 虽然比 Greedy Search(贪心搜索)有所改进,但还是会生成出 空洞重复前后矛盾 的文本。在语言模型上还不像如今的 BERT、GPT 那么厉害的时候,这种现象更加明显。

    看一个例子:

        输入模型的引文(context):

            "The study, published in the Proceedings of the They were cattle called Bolivian Cavalleros; they live in a National Academy of                  Sciences of the United States of remote desert u

你可能感兴趣的:(python)