NVIDIA新产品不得不说的故事

Mellanox被NVIDIA收购，让NVIDIA补齐了对于网络运算的最后短板，在HPC与AI领域，NVIDIA将继续保有不可替代的作用，特别是在今天，人工智能的快速发展，更强调实时计算能力的时刻，GPU将承担着更多的核心计算角色，更高的性能，更快的运算速度，更细密的运算精度，都将为人工智能等技术提供更好的技术支撑。

在GTC 2020上，NVIDIA发布了多款最新产品，而这其中特别值得关注的是NVIDIA GA100 GPU，DGX A100系统，EGX A100系统 ，以及业内首款25G安全智能网卡SmartNIC，这些都将成为未来异步计算中的主力军。在国家“新基建”的大背景下，以数据中心与人工智能为代表的新技术将获得更为广泛的应用，而NVIDIA所发布的新产品恰恰符合这样一个时代背景。

新产品将会为市场带来怎样的变化？在技术细节上有着怎样的提升？为此，笔者与NVIDIA专家连线，获取了最新的消息。

技术升级，性能提升显著

作为人工智能计算的核心，目前市面上有一个传言，说是NVIDIA A100 GPU相比于上一代产品性能提升了近20倍，这个说法已经被NVIDIA所实锤，而这近20倍的提升来源于最新的NVIDIA AMPERE 架构的应用。NVIDIA AMPERE 架构作为NVIDIA产品的最新一代架构，是性能出色和高可扩展性数据中心的核心，可以为计算提供更为出色的加速能力，NVIDIAAMPERE 架构所生产的A100 GPU由540亿个晶体管组成，是目前最大的7纳米芯片，而且在多个方向上取得长足进步。

首先，采用了最新的第三代Tensor Core，在全精度计算中大幅加快工作负载运行速度，可实现混合精度计算，特别是已经可以覆盖AI与HPC领域的各种工作负载。据了解，第三代Tensor Core技术，已经可以将AI训练速度从几周缩短到几个小时，大幅度增加了计算速度，而且在精度上涵盖了目前研究所需的全系列精度TF32、FP64、FP16、INT8和INT4，简化了AI的采用。这其中，NVIDIA Ampere架构内置TF32，能够加快单精度作业速度，保持精度且无需使用任何新代码，可以将AI训练与HPC速度提升近20倍。

其次，MIG技术可以将每个A100划分为7个GPU实例，在不需要使用全部性能时，可以有效的节约了运算资源，而被划分的实例，在物理上是安全的，并且彼此隔离，同时每个实例均拥有高的带宽与显存。这一技术在稳定可靠的前提下，可以有效的针对每项任务，分配适当的GPU，从而优化使用率。 

另外，第三代NVLINK更大限量的提升了系统吞吐量，通过提供更高的带宽和更多链路，可以改进可扩展性解决互连问题。以A100 GPU为例，单个A100最多可支持12个第三代NVLINK的连接，达到600GB/秒的总带宽。这里有必要提到与NVLINK相关的技术架构——NVSwitch，NVSwitch实现了单台服务器中更多GPU的互联，这一架构实现了多对多的通信，这也是实现多GPU通信的基础。

此外，稀疏数据模型，亦或是更智能、更快的显存都为A100 GPU的性能提升，提供了有效的保障。 

NVIDIA EGX A100与NVIDIA DGX A100

NVIDIA本次发布的新品中，有EGX A100与DGX A100两款文字表面看似相同的产品，仅仅一个字母的差别，事实上却千差万别。

其实，NVIDIA EGX A100是NVIDIA EGX平台的新成员，与NVIDIA AMPERE架构，以及Mellanox ConnectX-6 Dx SmartNIC 组成了一个安全增强以及低延迟的边缘计算系统。医院、商店、仓库、工厂、机场和其他组织均可使用EGX A100创建更快、更高效和更安全的边缘AI系统。

NVIDIA EGX A100

另据了解，EGX平台包含易于部署的云原生软件堆栈、一系列经过验证的边缘服务器和设备，以及由在其产品和服务中提供EGX的合作伙伴组成的庞大生态系统。NVIDIA EGX可将AI从数据中心扩展至边缘设备，简化边缘部署的IT管理，并与领先的Kubernetes管理平台兼容。

DGX A100可以被看做是一个AI基础架构的通用系统，在硬件配置上包含有八块A100 GPU组成，GPU显存最高可达320G；还拥有六个第二代NVSWITCH，GPU到GPU的双向带宽最高可以达到4.8TB/s；九个Mellanox ConnectX-6 VPI HDR InfiniBand/200 Gb以太网，可以实现基础网络双向带宽峰值450GB/s，还包含两块64核AMD CPU和1 TB系统内存，以及15 TB第四代NVME SSD。

NVIDIA DGX A100

NVIDIA EGX A100与NVIDIA DGX A100都是AI计算重要的组件，一个更偏向于边缘端，另外一个应用于数据中心中。NVIDIA DGX A100未来将成为现代数据中心的重要基石，依托多个 DGX A100所组成的DGX SuperPOD拥有着可扩展的良好架构基础，对于现代化与智能化的数据中心的建设而言，有着莫大的吸引力。 

优化开发包，拥抱开源社区

众所周知，NVIDIA推出新产品的最终目的是为了实现更快、更有效的数据分析。而这些都将涉及到硬件与软件的结合。而本次GTC 2020大会上，NVIDIA宣布推出了CUDA 11工具包，此外还宣布与开源社区合作，为Apache Spark 3.0带来端到端的GPU加速，实现对于数据分析的提速。 

CUDA 11是针对NVIDIA AMPERE推出的软件工具包，据了解，CUDA 11完全支持在安培新架构上进行开发，包括A100 GPU，以及基于它的DGX A100、HGX A100等多路系统，并支持安培架构的第三代Tensor张量核心，可针对不同数据类型加速混合精度矩阵计算，比如TF32、Bfloat16。

NVIDIA正在提供一种用于Apache Spark的全新开源RAPIDS加速器，帮助数据科学家提高其数据流程的端到端性能。该加速器能够将之前需要在CPU上运行的功能，转到GPU上运行，以发挥GPU的性能。凭借RAPIDS开源软件库，GPU可显著降低基础设施成本，并为端到端数据科学工作流程提供出色性能。GPU加速的数据科学在笔记本电脑、数据中心、边缘和云端均可使用。未来，通过NVIDIA与Spark 3.0的结合，将实现同一Spark集群中AI模型的训练，降低构建难度，更为方便对于数据的处理与分析。 

总结来看，NVIDIA此次大会围绕着NVIDIA AMPERE 架构，打造了相应的产品硬件与配套软件，而相比于上一代产品在性能上有着较大幅度的提升，而这也符合AI与HPC一贯以来的发展趋势，更快的速度、更高的效率。