DeepMind论文登上Nature：大模型找到数学难题最新解，赢过人类数学家

谷歌DeepMind大模型最新研究突破来了！

这次谷歌DeepMind提出了一种使用大语言模型搜索数学和计算机科学新解决方案的方法 FunSearch，FunSearch 针对历史上一些经典数学难题给出了新的解法，赢过了人类数学家。

目前该研究已发表在《Nature》杂志上：

谷歌DeepMind CEO 哈萨比斯表示，他们提出的新方法FunSearch是第一个在数学和计算机科学的开放问题中取得新的可验证发现的系统，并应用该方法在解决经典的“装箱”问题（下文会介绍）时找到了更高效的解决方案。

FunSearch工作原理

FunSearch 的工作原理简单来讲就是把一个预先训练好的LLM（用来生成计算机代码创造解决方案）和一个自动“评估器”（确保没有幻觉和错误的思路）搭档起来。这两个组件会相互合作，不断迭代，让最初的想法逐渐“演变”成全新的知识。FunSearch的名字正是来源于系统搜索用计算机代码编写的“functions”。

展开来讲，FunSearch背后的大语言模型使用了Google 的 PaLM 2驱动的演化方法。在FunSearch流程中，用户首先要以代码形式编写问题描述prompt，描述promp包括一个评估程序的过程和一个用于初始化程序池的种子程序。接下来进入FunSearch的迭代过程:

• LLM显示到目前为止生成的最佳程序的选择（从程序数据库中检索），并要求生成一个更好的程序。

• LLM提出程序自动执行和评估。

• 最佳程序被添加到数据库中，供后续循环中选择。

• 用户可以随时检索到目前为止发现的最高评分的程序。

这这工作流意味着FunSearch并不是从头开始摸索答案，而是站在了已有的问题理解的肩膀上，集中精力挖掘那些能够引领新发现的关键性创意。而且，这个演化过程还很聪明地采用了一种策略，确保想法保持多样性，避免陷入思维的死胡同。这就像是给FunSearch装上了一个创意引擎，让它在寻找答案的路上不断刷新和扩展自己的视野。

在数学领域开辟新天地

FunSearch 首先挑战了数学中长期存在的帽子集（Cap set）问题，并发现了新的解决方案。帽子集问题是数学界有名的难题，简单来讲就是在一个高维的网格里找到最大的一群点（称为cap set），且这些点里任意三个点都不能排成一条直线。

听起来是不是有点像在玩一个超级复杂的连连看？但这个问题是各种极端条件、复杂问题的一个缩影。用普通的计算方法根本无法解决，要考虑到的计算可能性甚至比宇宙中的原子还多。

而FunSearch不仅找到了解决方案，而且还以程序的形式呈现出来。在某些特定的设置下，它找到了迄今为止最大的cap sets！直接一跃成为了过去20年里cap set问题上最大的突破。这同时表明了人类首次使用LLMs为科学或数学中的挑战性开放问题做出了新发现。

FunSearch也挑战了另一个经典数学问题——“装箱（Bin packing），”“装箱”问题简单来讲就是如何将不同尺寸的物品装入最少数量的箱子中。

FunSearch同样表现出色，并超过了传统解决方法的性能。

像装箱这样的硬组合问题可以使用神经网络和强化学习等其他AI方法来解决，但可能需要大量资源来部署。而FunSearch 可以很容易输出易于检查和部署的代码，这意味着FunSearch 给出的解决方案可以更方便地被植入到各种现实世界的工业系统中。

总结

FunSearch之所以强大是因为它输出的不仅仅是解决方案，它还能展示解决方案是怎么来的。这就像是给你看一个解谜过程，让你明白答案是怎么得出的。它喜欢找那些既简洁又能搞定复杂问题的方案。

FunSearch找到的答案不只是一串数字那么简单，它还能给科学家们提供新的视角。比如通过描述理解程序是如何工作的，科学家们可能会发现问题中的新模式，这可以激发科学家使用FunSearch进行进一步的洞察，推动改进、发现的良性循环。

FunSearch也表明，如果我们限制好LLM的幻觉，不仅可以用来产生新的数学发现，还可以提出解决实际世界问题的创新解决方案。此外FunSearch预示了未来LLM驱动的方法将在科学和工业领域广泛应用，主助理于解决紧迫的科学和工程挑战。