NVIDIA GTC主题演讲内容学习＜5＞

我们来谈谈机器人，未来的医疗设备将会是机器人。

AI、Physics-ML、光纤追踪和我们所谈论的计算机技术的进步。AI将重新构想算法，边缘计算架构将彻底改造设备，随着设备销售逐渐被医疗设备软件服务的解决方案所取代，商业模式将发生变革，这些动态对于患者、医院以及这个价值2000亿美元的行业的一起制造商来说都是好消息。
这个行业需要软件定义的影像平台来构建未来。
就像汽车行业需要软件定义的自动驾驶平台一样。

今天，我们宣布推出NVIDIA Clara Holoscan-一款软件定义的可编程影像平台。
Holoscan是多年规划的成果，打造Holoscan需要充分运用NVIDIA的所有技术，拼图的最后两片刚刚揭晓，就是我提到过的统一计算框架以及全新的超高速传感器处理机器人芯片Orin。

基础Holoscan平台是由Orin和ConnectX-7组成。
Orin可以在单个芯片中处理整个机器人流水线-即传感器、物理、AI、成像和图形。
12个Arm CPU，5.2TELOPS(FP32)，用于AI的250 TOPS，740Gbps高速IO用于连接传感器，您可以选择添加A6000 Ampere GPU获得另外39TFLOPS(FP32)和超过600 TOPS的AI推理性能。

有了Clara Holoscan UCF，设备制造商就有一个开发平台来构建。连接这些强大的引擎的实时应用程序。

Holoscan平台是开放的，第三方可以在Holoscan的界面和API的基础上进行构建，研究人员可以从事重要的新科学研究，一起制造商可以将Holoscan集成到他们的解决方案中。
我们很高兴看到AJA Video Sytems、Kaya Instruments、Verasonics和US4US正在构建支持Clara Holoscan的前端传感器。
Holoscan应用程序可以完整部署在设备内、医院的数据中心或两者结合，这使得共公司可以开发比设备本身需要更多算力的应用程序。
或者升级部署多年的已安装基础设备。
NVIDIA Clara Holoscan是为下一代软件定义的仪器，打造的全堆栈开放平台。
Holoscan是我们的第三个机器人平台，我们对其他两个平台Isaac和Drive进行了一些出色的更新，机器人产业正在以惊人的速度增长。

我们的Isaac生态系统现在有超过700家公司和合作伙伴，在过去4年中，这一数字增长了5倍，超大型仓库正在部署自主移动机器人来应对电子上午交付中惊人的增长。
清洁机器人、餐厅和零售自主机器人、最后一英里送货机器人、远程呈现机器人都已投入使用。机器人可以感知环境，判断自己在哪里，应该去哪里，需要做什么，然后制定计划完成任务。
在构建机器人系统时，有三个互连的工作流程。
首先，训练机器人的AI模型用于感知，我们有NVIDIA AI和DGX可以用于训练；其次在仿真中，训练机器人进行操作或导航，我们有运行在RTX上基于Omniverse的Isaac Sim可以用于仿真，在部署时，Isaac Sim Omniverse仿真可以作为机器人的数字孪生；第三，在真实环境中操作机器人，这时，在AGX上运行的Isaac进行实时的感知、定位、地图构建和规划，即执行机器人流水线，如果机器人通过5G连接并且由仓库中的中央服务器进行编排，我们将在EGX上运行Isaac软件栈，如此DGX、RTX、EGX和AGX系统及其适当的软件栈组成了端到端机器学习循环。

Isaac是一个全堆栈开放平台，Isaac现在支持ROS生态系统，这是一个大型开源机器人社区。

ROS拥有70万名开发者，并且正在快速增长。现在Isaac运行时可以作为ROS框架中的节点。
例如，进行目标检测、分割、3D姿态估计、视觉里程计算或激光点云处理，所有这些都可以提速10倍，ROS开发者可以立即从Isaac的算法中获益并且得到巨大的性能提升。
ROS开发者还可以将ROS URDF的机器人定义格式直接导入Isaac Sim中以仿真其机器人。
Isaac Sim是有史以来最逼真的机器人仿真器，它基于Omniverse构建，支持传感器建模，模拟了物理特性，环境非常逼真。
仿真中的机器人正在运行它们的真实堆栈（无论是SIL软件在环还是HIL硬件在环），机器人连接到实际地图，感觉身临其境。

目标是让机器人分辨不出它是在虚拟环境还是真实世界中。
我们努力最小化Sim2Real域的差距，创建训练数据对于机器人来说非常困难，与公路上的汽车不同，机器人的世界更加随机，汽车沿着车道行驶，避开其他车辆。
机器人没有车道，交互是设计的初衷，收集并标注所有场景来训练机器人是不可能的。

Isaac Sim Replicator是一个生成合成数据来训练机器人的引擎，Replicator模拟传感器，生成自动标注的数据，并使用域随机化引擎创建丰富多样的训练数据集。
通过Isaac Replicator、Isaac Sim on Omniverse和Isaac ROS,ROS社区的端到端功能将得到增强。
移动万物终将自主，无论是完全自主还是大部分自主，到2024年，绝大多数新电动汽车将具备强大的自动驾驶能力。我们正在开发用于构建自动驾驶汽车的端到端流程以及全栈车内自动驾驶系统和全球云地图。
NVIDIA Drive是一个全栈式的开放自动驾驶平台，客户可以使用我们的开发流程、我们的驾驶计算机的部分，来连接到我们的云地图，或与我们进行端到端合作。
我们正与各类汽车制造业、SUV、跑车、卡车、客货车、自动驾驶出租车和视频运输车的公司合作。
自动驾驶汽车是机器人，而机器学习开发的3个关键支柱，即在DGX上通过NVIDIA AI训练模型，在Omniverse上通过Drive Sim进行模拟和生成合成数据以及在Orin Robotics芯片上通过Drive AV构建实时机器人工作流。
第一个目标是将环绕传感器的数据转换为4D世界模型，左图显示由Drive Sim模拟器的环绕摄像头的场景，右图是世界模型，本质上是汽车的思维，借助高完整性和高精密的世界模型，我们实现了避碍、定位、环境感知以及路径规划来到达目的地。
这起始于车轮传感器的计算架构，这样的设计可提供高保真的感知冗余和容错机制，具有足够的酸锂和可变成性，可应对车辆生命周期内的软件改进。
这是Hyperion 8即2024模型的架构。传感器12个摄像头、9个毫米波雷达、12个超声波传感器和1个前激光雷达，所有这些都由2个Orin来进行处理，我们的开发套件包括Ampere GPU可提供充足的性能空间，以便工程师可以拥有最佳环境来制作新软件的原型。

Hyperion 8现已推出，对于任何一个开发自动驾驶传感器的人来说Hyperion 8是一个理想的平台。我们从世界各地手机PB级的道路数据并拥有大约3000名训练有素的标记员，创建训练数据。

尽管如此，合成数据生成仍然是我们数据策略的基石，在这里您可以通过模拟的环绕摄像头看到一个场景，数据自动标记，右侧是一些使用数据训练的AI模型。
Drive Sim Replicator是用于自动驾驶汽车的合成数据生成器，它构建在Omniverse之上。模拟镜头模型并考虑运动模糊、滚动快门、LED闪烁和多普勒效应。
我们与传感器制造商密切合作，为它们的传感器准确建模，并对相机、毫米波雷达、激光雷达的传感器模型进行路径追踪，这些材质经过物理模拟，可获得精确的光束反射。我们建立了一个激光雷达材质库还在构建毫米波雷达材质库。
Replicator对我们来说是游戏规则的改变者，在构建Hyperion 8和手机到数据之前，Replicator引导AI标注工具和AI模型，Replicator能以人类无法实现的方式标记真值，在多传感器、速度、距离、遮挡、恶劣天气条件下追踪移动物体，它非常准确且低成本，并在我们已知存在差异的地方进行数据增强。

地图构建是自动驾驶的关键支柱，它是车队的集体记忆，可以被认为是另一个传感器，几个月前，我们欢迎DeepMap加入我们公司。
DeepMap是世界领先的自动驾驶地图构建专家，通过DeepMap和我们现有的地图构建团队，我们正在向全球进行扩展，我们同时进行测绘地图构建和车队地图构建。
车队地图构建采用众包的方式，或使用一辆车通过增量的方式逐步构建可信的地图，随着每次驾驶，更多的路线被感知并以三维方式重建，测绘地图由一支专门从事地图构建的车队完成，我们将部署一个车队专注于为全球热门区域绘制地图，测绘地图能让车队在启程之前就预先做好准备。
它还作为构建我们云端AI地图系统的真值数据。自上次GTC（GPU技术大会）以来，我们赋能了城市驾驶和自动泊车的场景，我们现在正在运行Hyperion 8中的传感器、4D感知、基于深度学习的多传感器融合特征追踪和新的规划引擎。