深度学习的发展，AI硬件是时候要拼一下！

随着深度神经网络不断改进和发展，将需要硬件创新以满足不断增长的计算需求。

深度学习一直处于人工智能（AI）近期发展的最前沿。 它涉及一组受生物神经网络启发的机器学习算法，可以教机器查找大量数据中的模式。 这些深度神经网络已经在语音和对象识别等领域取得了重大进步，并成为在特定任务中表现出超人能力的计算机程序的基础。

 

这种方法当前功能最引人注目的演示可能是AlphaGo。该项目由谷歌旗下DeepMind的研究人员开发，在2016年3月的五场比赛中击败了游戏Go，Lee Sedol的世界冠军; 得分为4：1：1。此时，AlphaGo唯一的竞争来自更好的版本。

2017年10月，DeepMind团队报告了一个更新的计划--AlphaGo Zero--它使用强化学习，仅通过玩游戏来训练自己; AlphaGo依靠数百万人类专家行动的无监督学习。 与淘汰Sedol的AlphaGo计划相比，AlphaGo Zero赢得了100场比赛的胜利。

“DeepMind正在进行一项长期的科学探索研究，打造智能解决方案，并造福全世界。我们很自豪，部分工作成果已经应用在了医疗保健、能源等领域。”作为互联网科技巨头，谷歌人工智能的重视和投入程度都在不断加大。比如去年推出的AI开源项目——AIY Projects（全称为 Artificial Intelligence Yourself），就是为了让AI人工智能更加平民化、普及化，让人人都可以了解AI、接触IA、并动手开发自己的AI人工智能产品。

 

深度神经网络涉及通过数字“突触”连接的多层“神经元”。 他们接受大型数据集的培训，并伴有所需任务的答案，在此期间，调整神经元之间连接的强度或重量，直到顶级输出正确为止。 然后，训练的神经网络以训练阶段期间确定的权重运行，然后可以在称为推断的步骤中应用于新数据。

深度神经网络的最近成功是由算法和网络架构的进步推动的，但也值得注意的是，通过不断增长的大量数据的可用性以及更强大的计算机的不断发展。 在这一点上，具有最先进精度的深度神经网络的计算需求是相当大的。 正如Yiyu Shi及其同事在本期“自然电子”杂志的一篇“透视”中所说，这为深度神经网络提出了一个新兴问题，特别是它们在移动和嵌入式设备上的潜在实现，例如智能传感器或可穿戴设备，其中电力资源有限。

位于圣母大学的研究人员 ，以及加州大学洛杉矶分校和华中科技大学 - 负责研究深度神经网络的准确性和规模以及不同硬件平台的容量。他们表明，在用于边缘推理的深度神经网络的缩放（在嵌入式平台上本地进行推理）和互补金属氧化物半导体（CMOS）技术的缩放之间存在差距，并且这些差距正在增长。随着深度神经网络变得更加准确，它们的大小（层数，参数和操作数量）急剧增加。但是，正如Shi及其同事所表明的那样，典型硬件平台 - 图形处理单元（GPU），现场可编程门阵列（FPGA）和专用集成电路（ASIC）的性能无法跟上领先的领先规模。深度神经网络设计。类似地，硬件平台容纳网络所需的存储器的能量效率不能跟上网络规模的增加。

 

Shi及其同事指出，“CMOS缩放对满足日益苛刻的计算密度和能效要求没有太大帮助，因此需要在架构，电路和设备方面进行创新。”因此，他们继续研究不同的架构和算法 可以共同帮助弥合这些差距的创新。

一种这样的方法是试图摆脱传统的冯·诺依曼计算系统，其中存储器和处理单元在物理上是分开的。例如，纳米级电阻存储器件（忆阻器件）可用于处理和存储器。然而，设备可变性仍然是一个问题，这限制了可以执行计算的准确性。在本期杂志中，IBM研究院的苏黎世和苏黎世联邦理工学院的Manuel Le Gallo及其同事表示，通过将使用电阻式存储设备的内存处理与传统的数字处理相结合，可以避免这个问题。这里的内存处理器单元 - 具体地说是相变存储器设备阵列（如图） - 执行大量计算任务，并且传统处理单元迭代地提高解决方案的准确性。 Le Gallo及其同事通过求解线性方程组来说明该方法的功能，即它们称为混合精度内存计算。但该方法已经应用于深度神经网络的训练。

开发特别适用于AI应用的器件和芯片的潜力也唤醒了人们对芯片初创企业的兴趣。 今年早些时候，“纽约时报”报道说，目前至少有45家初创公司正在研发此类芯片，去年风险资本家投资超过15亿美元的芯片初创企业，这几乎是两年钱投资的两倍。

比如，谷歌也发布自己的TPU以及Edge TPU——TPU是针对TensorFlow上的机器学习工作负载量身定制的定制应用专用集成电路（ASIC）。 去年，谷歌宣称它的TPU比现代GPU和推理CPU快15到30倍，并且TOPS / Watt测量值提高了30-80倍。并且谷歌在同年还发布了用于边缘计算的Edge TPU，以及相关设备：AIY Projects Edge TPU Dev Board和Edge TPU Accelerator 围绕谷歌新推出的专用边缘TPU。

 

这项技术可能带来的好处是相当大的，来自学术界和工业界的研究人员正在应对硬件挑战 - 机遇 - 机器学习和人工智能。