最新MLPerf基准测试：基于阿里云GPU云服务器的AIACC在图像识别封闭式场景下夺冠

近日，全球权威 AI 基准评测组织 MLCommons 公布了最新一期 MLPerf™ v2.1 推理性能基准测试结果。阿里云在 Edge 封闭式、数据中心和 Edge 开放式、数据中心网络等场景均表现亮眼。其中，基于阿里云弹性计算 GPU 云服务器的神龙 AI 加速引擎（AIACC）在图像识别的 Edge 封闭式场景中实现了最低延时，突破性能天花板，处于业界第一。

MLPerf Benchmark 是一套用于测量机器学习软硬件性能的通用基准，由来自学术界、研究实验室和相关行业的 AI 领导者组成的联盟，旨在“构建公平和有用的基准测试”；评估在不同条件下，不同企业硬件、软件和服务的训练和推理性能；可以帮助企业简化选择 AI 软硬件服务的流程。

MLPerf 覆盖了图像分类、目标检测、医学图像分割、自然语言处理等不同的 AI 服务场景，阿里云 AIACC 本次参与的主要是图像识别的封闭式推理场景。

封闭式即指在不对模型进行任何改动，仅优化底层软硬件平台的情况下获得的性能，具有极大优化难度。往期的封闭式场景结果中，搭载最新的 NVIDIA TensorRT 版本是所有 NVIDIA GPU 硬件平台的性能天花板，不同厂商的差距仅在于不同 GPU 硬件产生的小幅性能差异。本次 MLPerf™ v2.1 推理结果的 Edge 封闭式计算中，神龙 AI 加速引擎（AIACC）针对 ResNet50 的单流(单任务处理）推理进行了专门的深入优化，超过了直接使用 NVIDIA TensorRT 的用例，获得了 0.38 毫秒的最低延时，意味着在阿里云上识别一张图片只需要 0.38 毫秒。

MLPerf Inference Edge v2.1 截图

阿里云神龙加速引擎 AIACC 团队本次主要基于两款阿里云 GPU 云服务实例——gn7i、gn7e 实例。

在 gn7i 实例上，AIACC 实现了单流时延 0.40 毫秒，低于业界其他厂商 0.44-0.50 毫秒的时延；在 gn7e 实例上，AIACC 加速的 ResNet50 推理时延为仅为 0.38 毫秒，远低于其他厂商 0.50-0.53 毫秒的延时。

阿里云 GPU 云服务器是提供 GPU 算力的弹性计算服务，具有超强的计算能力，服务于深度学习、科学计算、图形可视化、视频处理多种应用场景，能为客户提供软件与硬件结合的完整服务体系，助力客户在实际业务中实现资源的灵活分配、弹性扩展、算力的提升以及成本的控制。

基于阿里云弹性计算服务 ECS 的神龙计算加速引擎致力于为阿里云 ECS 客户提供快速、便捷、用户无感的计算加速服务，覆盖 AI 训练与推理、大数据、通用计算等领域。在 AI 训练与推理领域，神龙 AI 加速引擎（AIACC）持续深耕性能优化技术，服务了大量客户优化 AI 计算业务性能，助力其业务在阿里云 GPU 云服务器上线部署和提速，并曾在世界 AI 性能权威榜单 DAWNBench 中斩获 4 项世界第一。在大数据领域，神龙大数据加速引擎（MRACC）亦在世界大数据权威榜单 TPC Benchmark Express-BigBench(TPCx-BB) SF3000 摘得桂冠。

AIACC 和 MRACC 等性能优化技术在长期服务客户的过程中得以积累和沉淀，客户可在阿里云 GPU 云服务实例和阿里云弹性计算 ECS 实例上开放使用，应用无感的提升客户业务的性能。

点击这里，了解阿里云 GPU 云服务器。

丨近期活动预告

面对“元宇宙”概念兴起，我们邀请到 NVIDIA 中国 Omniverse 业务负责人何展、沙核科技创始人楼彦昕、阿里云弹性计算产品专家张新涛，分享行业理解、落地案例、瓶颈挑战等。数字世界先锋 x 科技艺术家 x 云计算活化石，欢迎看三位碰撞出何种观点。

本次对谈节目，将于 9 月 26 日下午 2 点播出，点击这里预约直播。