科普丨深度学习硬件（GPU、FPGA、ASIC、DSP）

深度学习最近取得的成功势不可挡：从图像分类和语音识别到图片标注、理解视觉场景、视频概述、语言翻译、绘画，甚至是生成图像、语音、声音和音乐！ 随着我们的家变得越来越智能，你会发现许多设备都会需要连续地使用深度学习应用、收集和处理数据。

所以我们需要新的硬件，一个比 Intel Xeon 所驱动的服务器更加高效的硬件。一个英特尔服务器 CPU 可能会消耗 100-150 瓦功率并需要一个有着冷却装置的超大系统来支持其性能的正常发挥。

图形处理器、GPU 
现场可编程的逻辑器件、FPGA（现场可编程门阵列/Field-Programmable Gate Array） 
定制芯片、特殊应用型集成电路、ASIC 
数字信号处理器、DSP 
未来的、外星人发明的、由新的物理定律所发展出的技术

GPU

GPU 最早是为生成基于多边形网络的计算机图形而设计的。在最近几年，由于近来计算机游戏和图形引擎领域的需求和复杂度需要，GPU 积累了强大的处理性能。英伟达是 GPU 领域的领军者，能生产有数千个内核的处理器，这些内核的设计工作效率可以达到 100％。实际上这些处理器也非常适用于运行神经网络和矩阵乘法方面的计算。注意，矩阵向量的乘法运算被认为是「尴尬的并行（embarrassingly parallel）」，因为它可以通过简单的算法扩展被并行化（它们缺少分支因而可以避免缓存信息丢失）。

由于 GPU 的超多核（~3500 个，对比 Intel Xeon 的 16 个/ Xeon Phi 的 32 个），英特尔的 CPU 和英伟达的 GPU 之间的竞争助长了后者的发展，使其 GPU 比 CPU 在时钟频率快 2~3 倍。GPU 核是更为复杂（分支预测和流程）的 CPU 核的流线型版本，但是前者许多都支持更高级别的并行运算，因而拥有更好的性能。

这种 GPU 很擅长训练深度学习系统——卷积神经网络或者循环神经网络。它们可以在仅仅几毫秒之内就运行一批 128 或 256 张图像。但是它们同时也会消耗大约 250 瓦的功率并且需要一个完整的计算机来支持运行，这又消耗了额外的 150 瓦的功率。一个高性能的 GPU 系统至少需要消耗 400 瓦的功率。

这并不适用于增强现实眼镜、无人机、手机、移动设备和小型机器人。甚至对于未来的消费级自动驾驶汽车来说也是不可接受的。

英伟达正在致力于开发效率更高的器件，比如 Tegra TX1、TX2（深度神经网络需要 12 瓦的能耗和每秒 ~100 千兆次浮点运算的性能，TX2 需要的更多）和更强大的 Drive PX（250 瓦，与一个 Titan X 的消耗量差不多）。

这里还要注意，在自动驾驶汽车和智能摄像机中，直播视频是必要的而图像批处理是不可能实现的，因为视频需要针对及时响应进行实时处理。

一般 GPU 的水平大约是 5 G-flops/s per W。如果我们想在移动系统中部署深度学习解决方案，那我们还需要更好的方法！

GPU和CPU 
GPU的工作大部分是这样：计算量大，但没什么技术含量，而且要重复很多很多次。 
CPU和GPU因为最初用来处理的任务就不同。 
CPU需要很强的通用性来处理各种不同的数据类型，同时又要逻辑判断又会引入大量的分支跳转和中断的处理。这些都使得CPU的内部结构异常复杂。而GPU面对的则是类型高度统一的、相互无依赖的大规模数据和不需要被打断的纯净的计算环境。

FPGA

Xilinx 等公司的现代 FPGA 器件就是电子元器件中的乐高。我们可以使用其电路作为模块来构建出整个定制微处理器和复杂的异构系统。而在最近几年，FPGA 开始生产出越来越多的乘累加计算模块。这些 DSP 模块正如其名，能够执行乘法运算并可以被排列到一起来进行一定量的并行运算。

定制 SoC

高通、AMD、ARM、英特尔和英伟达都在致力于将定制化芯片整合进它们的现有解决方案中。Nervana 和 Movidius（目前都在英特尔旗下）已经或者说正在开发集合方案。SoC 在同一技术节点上所能提供的性能大约是 FPGA 系统的 10 倍，在特定结构中还要更高。由于 SoC 和处理器所需的功率变得越来越低，其区别将来自于新的集合内存系统和带宽对外部存储器的有效利用。在这一领域，整合为 systems-on-a-package（SOP）的 3D memory 至少可以节约 10 倍的功率。

DSP

DSP 已经存在了很长一段时间，它最初是用来执行矩阵算法的。但到目前为止，DSP 并没能真正提供任何有用的性能或是可以与 GPU 相匹敌的器件。为什么会这样呢？其主要原因就是核数量。DSP 主要用于电信系统，且无需拥有 16 个或 32 个以上的核。其工作负载并不需要这么多。相反，GPU 负载在近 10~15 年间一直在增加，因此它需要更多的核。最终，大约从 2006 年开始，英伟达的 GPU 在性能上就超过了 DSP。

Texas Instruments 公司还在开发 DSP，但是我们从中并没有看到任何有竞争力的性能。且许多 DSP 也已经被 FPGA 取代了。

Qualcomm 在它们的 SoC 中使用 DSP，并且其性能会有所加速，但是目前还没有足够多的信息来将它与其它的解决方案进行比较。