世界上最强大的SoC——NVIDIA Xavier学习笔记

界上最强大的SoC——NVIDIA Xavier学习笔记

NVIDIA在2018年CES上推出了Xavier平台，作为Driver PX2 的进化版本。NVIDIA称Xavier 是“世界上最强大的SoC（片上系统）”，Xavier可处理来自车辆雷达、摄像头、激光雷达和超声波系统的L5级自主驾驶数据，能效比市场上同类产品更高，体积更小。“NVIDIA Jetson AGX Xavier 为边缘设备的计算密度、能效和 AI 推理能力树立了新的标杆。”

 

Xavier SoC基于台积电12nm工艺，集成90亿颗晶体管，芯片面积350平方毫米，CPU采用NVIDIA自研8核ARM64架构（代号Carmel），GPU采用512颗CUDA的Volta，支持FP32/FP16/INT8，20W功耗下单精度浮点性能1.3TFLOPS，Tensor核心性能20TOPs，解锁到30W后可达30TOPs。

Xavier 内有六种不同的处理器：Valta TensorCore GPU，八核ARM64 CPU，双NVDLA 深度学习加速器，图像处理器，视觉处理器和视频处理器。这些处理器使其能够同时、且实时地处理数十种算法，以用于传感器处理、测距、定位和绘图、视觉和感知以及路径规划。

其内部不同处理器的计算性能罗列如下：

八核CPU：八核 “Carmel” CPU 基于ARMv8 ISA

深度学习加速器(DLA)：5 TOPS (FP16) | 10 TOPS (INT8)

Volta GPU：512 CUDA cores | 20 TOPS (INT8) | 1.3 TFLOPS (FP32)

视觉处理器：1.6 TOPS

立体声和光流引擎（SOFE）：6 TOPS

图像信号处理器(ISP)：1.5 Giga Pixels/s

视频编码器：1.2 GPix/s

视频解码器：1.8 GPix/s

芯片内部结构如下图所示：

Xavier推出了两个版本，Jetson AGX Xavier 8GB和Jetson AGX Xavier。

Jetson AGX Xavier 8GB

Jetson AGX Xavier 8GB 是一款价格实惠的低功率 Jetson AGX Xavier，在软硬件上与现有的 Jetson AGX Xavier 完全兼容。 其整个模块最高消耗 20W 功率，同时提供高达 20 TOPS 的 AI 性能。

Jetson AGX Xavier

使用 Jetson AGX Xavier 可以打造出 AI 助力的自主机器，其运行功率低至 10W，却能实现高达 32 TOPS 的性能。作为行业领先 AI 计算平台的一部分，Jetson AGX Xavier 得益于 NVIDIA 整套丰富的 AI 工具和工作流程，可帮助开发者快速训练和部署神经网络。

NVIDIA Xavier的片上系统

Xavier目前已经支持Drive IX和Drive AR，Drive IX和Drive AR均为NVIDIA Pegasus AI计算平台的一部分。

Drive IX属于人工智能层，支持最先进的车载信息娱乐 (IVI) 系统、逼真的 3D 地图和地形、语音对话功能以及外部环境认知。利用Drive IX可以将汽车数据整合到汽车用户体验和操作控制里。Drive IX系统可分析汽车内部和外部的传感器数据，继而为司机和乘客提供智能辅助技术，可识别司机和乘客的脸部、声音和手势。

NVIDIA希望Drive IX成为车辆安全性和便利性的终极SDK。例如，利用面部识别和视线跟踪，Drive IX系统可以在手握驾驶盘、昏昏欲睡的司机睡着以前发警报提醒他们，或是根据脸部识别在车辆到来时自动打开车库的门。

DRIVE AR使制造商可在车内无缝显示整合了汽车周边状况的详细驾驶信息。借助易于访问的可视信息，驾驶员（最终是自动驾驶汽车的乘客）能更好地了解自动驾驶汽车感知到的状况和计划执行的操作。Drive AR主要是面向信息娱乐应用，Drive AR支持计算机视觉、计算机图形、人机交互、AI应用并为车内增强现实接口的强大动力。

Xavier的硬件接口

 

Xavier的载板连接

Xavier通过一个699-Pin连接器与载板连接。载板上699-Pin连接器的型号为 Molex的 2034560003, 对应的核心板上的是 Molex 的 2048430001

以太网接口

Xavier核心板出来是RGMII接口, RGMII = Reduced Gigabit Media Independent Interface。

PHY芯片来自Marvell, 型号: 88E1512PB2-NNP2C000, 封装QFN56, 市面上买不到, 市面供货的88E1512,是商业级的 88E1512-A0-NNP2C000 和工业级的 88E1512-A0-NNP2I000。千兆网络变压器为M3295NL。

M.2 接口

一个M.2 Key E插槽(PCIe x1 Lane, USB 2.0, I2S, UART, I2C, Control)，类似于以前的mini PCIe接口, 用来扩展WiFi和蓝牙，目前很少用到。

一个M.2 Key M插槽， PCIE(x4 Lane, NVMe)，用来插SSD扩展存储。

PCIE接口

Xavier支持PCIE 4.0，共有16 lanes, 其中, NVMe x4, eSATA x1, M.2 Key E x1, PCIE Slot x16接口但只能x8模式。

扩展口

40-Pin扩展口，上半部分是电源，I2C, UART, SPI的引脚，下半部分是CAN和I2S，据说跟树莓派很类似，树莓派的扩展板很多都可以拿来直接用，本人没有搞过树莓派，所知有限。

控制接口

板载的2x4, 2.54mm, 8-Pin(J508)端子, 可以实现恢复, 复位, 上电等外部控制的操作。

电源供电

支持19V/3.42A, DC5.5-2.5mm接口供电，或者Type-C PD 65W充电器供电。

电源部分电路如图：

音频接口

Jetson载板包括一个10-pin（2x5, 2.54mm）音频面板接头连接器（J511）。 这可以用来连接到标准的PC音频面板，支持连接到麦克风，耳机，功率扬声器等。

eSATA / USB 3.1 Type A连接器

复用接口，可以插USB设备(如U盘, 键鼠, Hub等), 也可以插eSATA接口的硬盘, 或者来根eSATA转SATA线接普通的SATA硬盘。

UFS / Micro SD插槽

兼容UFS卡和Micro SD卡，UFS还是比较实用的，连续读速度可到500MB/s, 写速度达200MB/s。

HDMI高清视频接口

用于连接显示器。

USB Type-C 和 Micro-USB。

载板上有两个Type-C和一个Micro-USB, Type-C支持显示和PD供电, Micro-USB主要用于调试。

I2C接口

Xavier 有9组I2C, 有1组内部模块电源用了, 实际引出8路I2C。支持7-bit或者8-bit两种格式，支持100/400/1000等频率。

SPI接口

Xavier 引出3路SPI，支持最大65MHz的频率数据传输。

11

UART

Xavier引出5路串口。

CAN总线

Xavier引出两路CAN，通过40-Pin扩展接口引出，需要自己接电平转换芯片，最大支持1Mbps，手册写了支持CANFD，但是显然和CANFD的高速带宽不匹配。

Xavier目前绝对是自动驾驶行业的标杆产品，虽然最近黄教主在家里又发布了安培架构GPU以及算力达到2000 TOPS的自动驾驶运算平台，但是Xavier目前无论是生态、应用以及资源，都是最好的选择，作为一个汽车工程师，Xavier对我们的工作的帮助绝对是巨大的。