深度学习三巨头：AI需要新硬件，万亿突触神经网络或成可能

　　图灵 TOPIA，作者：安然

　　近日，在第 34 届 AAAI 年度人工智能大会的新闻发布会上，来自多伦多大学的教授 Geoffrey Hinton、Facebook 的 Yann LeCun 以及和蒙特利尔 MILA 人工智能研究所的 Yoshua Bengio 进行了一场讨论，话题包括人工智能伦理以及“常识”在人工智能中可能意味着什么，以及未来的深度学习神经网络的发展方向。

　　Hinton 和 Yann LeCun 以及 Yoshua Bengio 在深度学习领域有很高的造诣，被誉为“深度学习三巨头”。

　　他们表示，新型的硬件可以加速神经网络的训练和推理，可以产生更大的模型，也许有一天会使万亿突触神经网络成为可能，同样重要的是即将到来的机器人革命。

　　在硬件方面，Hinton 进一步解释了限制当今神经网络的技术方面。例如，他指出，神经网络的权值必须使用数百次，并对权值进行频繁的更新。他说，图形处理单元(GPU)的内存有限，必须不断地在外部 DRAM 中存储和检索，这是一个限制因素。 

　　更大的芯片内存储容量“将有助于像 Transformer 这样的软注意力，”Hinton 说，他指的是在 2017 年谷歌大会上开发的广受欢迎的自回归神经网络。他说，使用“键/值”对来存储和从内存中检索数据的变压器，如果使用具有大量内嵌内存的芯片，可能会大得多。

　　LeCun 和 Bengio 对此表示赞同，LeCun 指出 GPU“迫使我们进行批处理”，即数据样本在经过神经网络时分组，“这是低效的”。另一个问题是 GPU 假定神经网络是由矩阵产品构成的，这迫使科学家限制了可以构建到此类网络中的转换类型。 

　　Bengio 表示：“还有稀疏计算，在 GPU 上运行不方便……在这种情况下，大多数数据，比如像素值，可能是空的，只有很少的有效位需要处理。 

　　LeCun 预测，新的硬件将导致“更大的神经网络与稀疏激活”，他和 Bengio 都强调，在消耗更少的能量下做同样数量的工作更有兴趣的。

　　然而，LeCun 为人工智能辩护，反驳它是一个能源消耗大户的说法。他说，Facebook 每年每个用户消耗的能源是 1500 瓦，这与其他消耗能源的技术相比，这并不算多。 LeCun 表示，硬件最大的问题是在训练方面，它是 Nvidia GPU 和谷歌 TPU 的双头垄断，这重复了他去年在国际固态电路会议上提出的观点。 

　　LeCun 说，比用于训练的硬件更有趣的是用于推理的硬件设计。LeCun 重申了一年前发表的一份声明，称 Facebook 正在为人工智能开发各种内部硬件项目，包括推理，但他拒绝透露细节。

　　Hinton 指出，当今的神经网络很小，而真正的大神经网络可能只有一百亿个参数。

　　硬件方面的进步可能会通过制造更大的网络，增加更多的权重来推动 AI 的发展。

　　 他说：“大脑的一立方厘米内有一万亿个突触。” “如果有通用人工智能之类的东西，它可能需要一万亿个突触。”

　　 至于机器中的“常识”是什么样子的，没有人真正知道，Bengio 说。

　　Hinton 抱怨说，人们一直在改变目标，比如使用自然语言模型。“我们终于做到了，然后他们说这并不是真正的理解。他说:“现在我们在这方面做得很好，他们想找些别的东西来评判机器学习。”“这就像试图与一个有宗教信仰的人争论，你不可能赢。” 

　　但是，一位记者问道，公众关心的与其说是缺乏人类理解的证据，不如说是缺乏机器以一种陌生的方式运行的证据，比如“对抗性的例子”。Hinton 回答说，对抗性的例子表明分类器的行为还不是很正确。他说：“虽然我们能够正确地对事物进行分类，但网络这么做的理由绝对是错误的。”“相反的例子向我们表明，机器正在以与我们不同的方式做事。” 

　　LeCun 指出，动物也会像机器一样被愚弄。他若有所思地说：“你可以设计一个适合人类的测试，但不适合其他生物。” Hinton 表示同意，他说:“家猫也有同样的局限。” 

　　此外，LeCun、Hinton、Bengio 也是著名的图灵奖的获得者。 

　　三人一致认为，对人工智能来说，另一个可能被证明是巨大进步的东西是机器人。Hinton 说：“我们正处于一场革命的开端，这将是一个大问题”。许多应用程序，如视觉。他说，机器人不是分析一个静态图像或视频帧的全部内容，而是创建一个新的“感知模型”。 

　　他解释说：“你要先看一个地方，然后再看另一个地方，所以现在就变成了一个涉及注意力活动的连续过程。” Hinton 预测，去年 OpenAI 在操纵魔方方面的工作，是机器人技术的一个分水岭，或者更确切地说，是“AlphaGo 时刻”。 

　　LeCun 对此表示赞同，他说 Facebook 运行人工智能项目并不是因为 Facebook 本身对机器人有着极大的兴趣，而是因为它被视为“人工智能研究进步的重要基础”。 

　　这三位科学家对某些观点表示怀疑，虽然大多数有关深度学习的研究都是公开进行的，但一些公司在吹嘘人工智能的同时对细节保密。 

　　“它之所以被隐藏起来，是因为它让人们觉得它很重要，”Bengio 说，而实际上，许多深入公司的工作可能并不具有开创性。“有时候，公司会让它看起来比实际复杂得多。” 

　　Bengio 继续在三大角色中继续扮演自己的角色，他在 AI 的社会问题上直言不讳，例如建立道德体系。 

　　当 LeCun 被问及面部识别算法的使用时，他指出，技术可以用于好的和坏的目的，这在很大程度上取决于社会的民主制度。但是 Bengio 稍微反驳说：“Yann 说的显然是真的，但是杰出的科学家有责任说出来。”LeCun 若有所思地说，“为社会做决定”并不是科学的工作，这促使 Bengio 做出回应，“我不是在说要做决定，我是说我们应该参与进来，因为一些国家的政府对这种参与是开放的。” 

　　Hinton 经常用幽默的旁白来强调事情，在会议快结束时，他指出了自己在 Nvidia 问题上的最大错误。“2009 年，我在 Nvidia 身上犯了一个大错误，”他说。“2009 年，我告诉 1000 名研究生，他们应该去购买 Nvidia GPU，以加速他们的神经网络。我打电话给 Nvidia，说我刚向 1000 名研究人员推荐了你们的 GPU，你能给我一个免费的吗?他们说不行。 

　　“如果我真的聪明的话，我应该做的是把我所有的积蓄都投入 Nvidia 的股票。当时股价是 20 美元，现在大概是 250 美元。”

　　参考链接：https://www.zdnet.com/article/ai-on-steroids-much-bigger-neural-nets-to-come-with-new-hardware-say-bengio-hinton-lecun/