机器学习效率正在超越摩尔定律

简介：进步是否会持续不减，摩尔定律式的理论在未来几年或即将碰壁，仍有待观察。

八年前，一种机器学习算法学会了识别一只猫，它震惊了全世界。

几年后，人工智能可以准确地翻译语言，打败世界围棋冠军。

现在，机器学习已经开始在诸如 “星际争霸” 和 “dota2” 等复杂的多人视频游戏，以及诸如扑克之类的微妙游戏中脱颖而出，人工智能正在快速发展。

但是速度有多快呢，是什么在驱动着速度呢？虽然更好的计算机芯片是关键，但 AI 研究机构 OpenAI 认为，我们也应该衡量实际机器学习算法的改进速度。

由 OpenAI 的 Danny Hernandez 和 Tom Brown 撰写并发表在 arXiv 上的论文指出，研究人员称他们已经开始跟踪衡量机器学习的效率，即用更少的资源做更多的事。他们使用这种方法表明，人工智能已经以一种极快的速度变得更加高效。

算法效率提升加快研究

一般说来，驱动 AI 进步的有三个因素：运算量、数据和算法创新。计算能力更容易跟踪，但算法方面的改进却有点难以捉摸。

我们可以将算法效率定义为减少训练特定功能所需的计算量，它是衡量计算机科学中算法进度的主要指标。传统问题（如排序）的效率提升比机器学习更易于衡量，因为它们可以更清晰地衡量任务难度。但是，可以通过保持性能恒定来将效率透镜应用于机器学习。

自 2012 年以来，在 ImageNet 分类中训练神经网络达到相同性能所需的计算量，每 16 个月减少了 2 倍。与 2012 年相比，现在将神经网络训练到 AlexNet（一种基准图像识别算法）所需的计算量减少了 44 倍。研究结果表明，对于最近投入大量资金的 AI 任务，算法进步比传统硬件效率产生了更多收益。

用于训练到 AlexNet 级别的总计算量（以太字节 /天为单位），在任何给定时间的最低计算点都以蓝色显示，所有测量点都以灰色显示。

尤其在翻译和游戏等其他流行功能，在较短时间范围内改进的速度更快。在翻译方面，三年后的英法翻译中，Transformer 算法的计算能力比 seq2seq 算法低 61 倍；仅仅一年后，DeepMind 的 AlphaZero 在围棋比赛中，其计算量比 AlphaGoZero 少 8 倍，就能与 AlphaGoZero 匹敌；而仅三个月后，OpenaAI Five Rerun 在 Dota2 上使用了比原来低五倍的计算能力，就能超越了世界冠军 OpenaAI Five。

算法效率的提高，使得研究人员可以在给定的时间和金钱下进行更多感兴趣的实验，加速未来 AI 的研究。

机器学习的摩尔定律

机器学习中是否存在某种算法摩尔定律？

研究人员表示，目前还没有足够的信息来说明这一点。他们的工作只包括了几个数据点，原始的摩尔定律图表同样几乎没有被观察到，所以任何推断纯属推测。此外，研究仅关注少数几个流行的功能和顶级程序。目前尚不清楚观察到的趋势是否可以更广泛地推广到其他 AI 任务。

对于语言、游戏等领域，大规模的计算对于整体性能仍然很重要，因此追踪效率显得尤为重要，测量效率整体性能的长期趋势将有助于描绘总体算法进展的定量情况。研究人员观察到，硬件和算法效率提升是可乘的，并且在有意义的范围内可以达到相似的规模，这表明 AI 进步的良好模型应该整合两者的衡量指标。

研究结果还表明，对于具有高投资水平（研究人员花极大时间和精力）的 AI 任务，算法效率可能超过硬件效率（摩尔效率）带来的收益。

摩尔定律是在 1965 年提出的，即当价格不变时，集成电路上可容纳的元器件的数目，约每隔 18-24 个月便会增加一倍，性能也将提升一倍。

当时集成电路只有 64 个晶体管，之后出现了个人计算机和智能手机（iPhone11 拥有 85 亿个晶体管）。如果我们观察到数十年来 AI 算法效率的指数级提高，它可能会带来什么？

出于这些原因，研究人员开始公开跟踪效率的整体性能，首先探索视觉和翻译效率基准，包括 ImageNet 和 WMT14，之后再考虑随着时间的推移将添加更多的基准。跟踪多种措施，包括硬件的措施，可以描绘出一幅更完整的进展情况，并有助于确定未来的努力和投资在哪些方面最有效。

人工智能的未来

值得注意的是，这项研究的重点是深度学习算法，这是目前占主导地位的人工智能方法。深度学习是否能继续取得如此巨大的进步，是人工智能领域争论的焦点。该领域的一些顶级研究人员质疑深度学习解决该领域最大挑战的长期潜力。

OpenAI 在较早的一篇论文中表明，最新热门的人工智能需要相当惊人的计算能力来进行训练，并且所需的资源正以惊人的速度增长。在 2012 年之前，人工智能程序使用的计算能力的增长主要遵循摩尔定律，而自 2012 年以来，机器学习算法使用的计算能力的增长速度是摩尔定律的 7 倍。

这也是 OpenAI 对跟踪进展感兴趣的原因。例如，如果机器学习算法的培训成本越来越高，那么增加对学术研究人员的资助就很重要；如果效率趋势被证明是一致的，那么就更容易预测未来的成本并相应地计划投资。

进步是否会持续不减，摩尔定律式的理论在未来几年或即将碰壁，仍有待观察。

但正如作者们所写的那样，如果这些趋势在未来继续下去，人工智能将变得更加强大，而且可能比我们想象的还要快。

原文链接：https://yqh.aliyun.com/detail/14195

版权声明：