AWS推出自定义机器学习推理芯片

在启动运行在Arm芯片上的云服务器的三天后，AWS宣布，它还设计了自己的处理器，用于机器学习应用程序中的推理。周三上午，在拉斯维加斯举行的云计算巨头AWS年度大会上，AWS首席执行官安迪•雅西(Andy Jassy)在主题演讲中宣布了这款名为“AWS Inferentia”的推理芯片。

AWS的竞争对手谷歌云在2016年发布了其首款定制机器学习芯片张量处理单元。谷歌说，到那时，它已经在数据中心运行TPU大约一年了。

谷歌目前是第三代TPU，它一直以云服务的形式提供给客户。亚马逊在云计算市场的最大竞争对手微软Azure尚未推出自己的处理器。这三家公司都使用Nvidia GPU作为机器学习工作负载加速服务;AWS和Azure也为机器学习提供FPGA。

与亚马逊定制的Arm处理器一样，Inferentia也是在安纳普尔纳(Annapurna)工程师的帮助下设计的，这家以色列初创公司于2015年被亚马逊收购。

AWS计划向客户提供Inferentia，但它将与谷歌提供的产品非常不同。与为训练机器学习模型而设计的TPU不同，推论是为推理而设计的，推理是一个系统在经过训练后所做的决策。这是在模特经过成千上万张带有标签的猫咪照片的训练后，识别图片中猫的部分。

Jassy称，制造机器学习加速器处理器的公司——最大的是英伟达(Nvidia)——将大部分注意力放在优化处理器以进行培训上。这就是为什么AWS决定专注于设计更好的推理芯片。

他没有透露任何有关该芯片设计或性能的细节，也没有透露该芯片将于何时上市。该公司在其网站上表示，每个推理芯片“提供了数百个top (tera运算每秒)的推理吞吐量……为了获得更高的性能，多个AWS推理芯片可以一起驱动数千个top的吞吐量。”

Jassy说:“它可以在所有EC2实例类型上使用，也可以在SageMaker中使用，并且可以通过弹性推理来使用它。”SageMaker是一个AWS管理的服务，用于构建和培训机器学习模型。

Jassy周三宣布，弹性推理是AWS的一个新特性。它使用户能够根据需要自动伸缩部署在云中的推理处理器容量。

P3实例是亚马逊云上最流行的机器学习实例。如果没有它，用户必须为峰值需求提供足够的P3容量，在系统不在峰值运行时为未使用的容量付费。

Jassy说，这导致P3实例上gpu的平均利用率为10%到30%。

弹性推断可以附加到AWS中的任何EC2实例上，并根据需要进行伸缩，这可能为用户节省很多钱。Jassy说，它可以检测用户使用的机器学习框架，找到最能从硬件加速中获益的部件，并自动将它们转移到加速器上。

目前，这款加速器将是一款Nvidia GPU。根据Jassy的说法，一旦Amazon添加了Inferentia选项，它希望自己的芯片能够比使用弹性推理的gpu带来额外的“10倍”成本改善。