一致性思维链(SELF-CONSISTENCY IMPROVES CHAIN OF THOUGHT REASONING IN LANGUAGE MODELS)

概要

思维链已经在很多任务上取得了非常显著的效果,这篇论文中提出了一种 self-consistency 的算法,来代替 贪婪解码 算法。本方法通过 采样多个思维链集合,然后LLM模型生成后,选择一个最一致的答案作为最后的结果。一致性思维链 认为复杂的推理问题,有不同的思维方式去解决,从而得到最终唯一答案。经过实验验证,一致性思维链取得了显著的提升。

方法


一致性思维链思想非常经典,我们首先用思维链的方式去prompt模型,然后对于生成的答案,不用贪婪解码的方式,而是让模型生成一个多样性的推理过程和答案,然后投票选择答案一致性最高的那个结果。一致性思维链非常类似于人类的思维,如果有多种思维的方式能够获得相同的答案,那么这个答案正确的概率最大。一致性思维链解决了思维链重复性和局部性的问题,同时一定程度上解决了思维链随机性的问题。
一致性思维链在大部分推理问题上取得了非常显著的效果。

你可能感兴趣的:(语言模型,人工智能,自然语言处理)