NVIDIA GTC主题演讲内容学习＜4＞

AI的进步为自动化，以前无法想象的任务开辟了新的机会，用子计算机行业的说法，边缘就是计算机接触世界的地方。

如今，大量边缘应用可以在云中处理-例如：
人们使用收集连接到云服务，对于许多边缘应用，由于响应时间、数据安全性或可靠性原因，或不间断高速传感器数据的传输成本等原因无法过渡到云。
边缘应用本质上是机器人应用-它们在与自动驾驶汽车类似的要求下执行类似的任务，边缘计算的统一概念是需要处理一系列任务的组合，包括：传感器、高速IO、数据处理、信号和物理处理、AI推理和计算机图形等，这是“机器人管道”，必须实时处理，处理时间转化为安全性、成本、容量以及最终的可用性。
那么，如何构建处理机器人管道的AI应用呢？

我们创建了NVIDIA统一计算框架（UFC），UFC使得我们可以通过编排容器和微服务，通过将专用加速器CUDA GPU、Tensor Core AI、RTX图形处理、网络、安全、快速IO等处理链接起来形成一个高速管道，借助UCF，您可以构建用于处理机器人管道的AI应用。

UCF可以创建在数据中心或嵌入式系统中运行的应用程序。未来，建筑物、仓库、工厂、农场和道路都能感应，Metropolis是我们的视频处理和分析平台。

在流媒体视频中，它可以检测、跟踪、计数、推理3D姿态，甚至在未来重建完整的3D场景。
如今，我们仅支持摄像头，但利用UCF可以轻易扩展，以支持激光雷达、深度传感器、普通成像雷达、超声波和红外线，Metropolis是全栈式开放平台，与我们所有的平台一样，客户可以按原样使用Metropolis应用程序或自定义我们的图形。
该堆栈可以集成第三方5G无线电由我们的Aerial CUDA PHY加速，每个计算机制造商都能提供经NVIDIA认证的边缘计算系统。

Mavenir是软件定义的5G解决方案的领导者，它构建了5G核心和虚拟，无线接入网络。他们利用Metropolis平台创建了一个完全优化的额“建筑套件”为工厂、车间、公共空间、农场和IT受限场所进行工业应用的AI-on-5G。
MAVedge-AI将在第一季度提供给早期访问客户，各种传感器、计算、和边缘AI的组合将激发一波新创意。
在今天根本不可能实现的应用，以下是我们与Verizon合作的示例。

自由视角视频可以带来令人幸福的娱乐体验，这里Yahoo Ryot Studios将实景橄榄球镜头放置在各种环境中
传统的边缘计算架构无法实时处理50多个高分辨率摄像头的3D体积数据。

Verizon采用了一种突破性的方法，即绕过CPU，使用Magnum IO将视频流写入，速度提高10倍，每半小时处理高达250TB的视频。
在未来，低延迟5G、边缘计算和NVIDIA GPU加速，将使Verizon能够为你打开新的游戏选项。
在本章中，我向大家展示了我们如何训练新的模型如何融合物理的机器学习、图形、神经网络和大型语言模型以及Triton如何成为所有推理工作负载的引擎之一，使用UCF，你将如何将这些模型组合成边缘应用。

我们的平台是全栈式开放平台，在云、本地、边缘和嵌入式系统中运行，我们与整个行业的合作伙伴建立了丰富的生态系统，以将NVIDIA连接到你选择的任何IT基础设施、软件平台、工作流程或集成商。
尽管如此，仍需要大量的工程来维护这些堆栈，在最后一英里领域，我们与Equinix合作预安装NVIDIA AI并将其集成到世界各地的数据中心。
我们让企业能够轻松地试用工作负载。

当你准备好横向扩展时，我们将向合作伙伴网络提供完整方案以帮助你在Equinix、你自己的数据中心或任何其他地方执行此扩展。

我们称之为LaunchPad，你会发现LaunchPad应用于世界各地-在硅谷、达拉斯、华盛顿、伦敦、巴黎、阿姆斯特丹、法兰克福、新加坡和东京，如果你还需要在其他位置使用LanuchPad请告知我们。
在不久的将来，将会有数十亿机器人帮我们做事，有些是实体机器人，但大多数是数字虚拟机器人，一些虚拟机器人将实现完全自动，其他一些是半自动，甚至人机交互运行，即“人机回圈”。

Maxine是我们的虚拟形象平台-虚拟机器人平台。一段时间以来，我们已经向您展示了技术的各个方面。
今天，我要将这些全部组合在一起，Maxine可以是自动的或遥控的，现实的或艺术的。

Maxine有广泛的应用，例如在客户服务方面，可以现场实时、通过网络、或在Omniverse应用上。
它可用于视频会议或制作游戏角色动画，或者被集成到机器人中。Maxine的基础技术正逐渐成为可能，计算机视觉、神经图形、动画、语音AI、对话管理器、自然语言理解、推荐引擎。
这些是我们一段时间以来，一直在讨论的基础技术，这在5年前几乎是不可能的，而在今天也是勉强实现。

首先是语音AI。
今天，我们公开发布，NVIDIA RIVA神经语音AI,这是Maxine的输入/输出。
我们投入了大量的研发工作，并构建了DGX SuperPod，使RIVA成为可能。RIVA会讲英语，可以识别7种语言（英语、西班牙语、德语、法语、日语、普通话和俄语），RIVA将来会讲更多的语言。
RIVA可以生成隐藏字幕、翻译、总结、回答问题并理解意图。

RIVA的准确性世界一流，响应时间无可匹敌。只需30分钟，RIVA就可以调整到特定的声音。
RIVA可以针对歌声的音高、时值和能量进行微调。以获得类似人类的表现力。

RIVA可部署在任何云端或边缘端，早期体验客户已经看到出色的结果。问题的表述往往比其解决方案更重要，解决方案可能仅仅是数学或试实验技能 方面的问题，而提出新的问题，发现新的可能性从新角度看待旧问题，需要创造性的想象力，这正是科学真正进步的标志。


这是Maxine的统一计算框架（UCF）的简化示意图。
Maxine计算流程由视频、音频、图形和IO处理组成；AI模型包括视觉、语音、动画、语言、推荐系统，Maxine在EGX服务器上运行NVIDIA AI在RTX服务器上运行Omniverse。
这一切必须是交互式的-我们来看一下。
您好！
欢迎光临Shannon咖啡厅！
有什么可以帮您的吗？
能给我一份配一份洋葱圈的芝士汉堡吗？
您对我们的热门芝士汉堡配料感兴趣吗？比如熏肉和炒洋葱。
好的，可以。
好了。
加了熏肉和炒洋葱的芝士汉堡。
还需要其他的吗？
有什么可选的蛋白质食品？
我们有多种选择，我推荐蛋白汉堡，您感兴趣吗？
有什么素食吗？
我可以为您提供给黑豆馅饼，您觉得怎么样？
好的。
这是一款Metropolis应用程序，我们称之为Tokkio，是一个对话操作台。小动画机器人正在进行眼神交流并追踪客户，无论是语音识别，还是能够推断意图和操作的自然语言对话管理器，推荐或自然语音，Tokkio均可以在大约2秒内作出响应，具有高度交互性，这是处于自动和艺术模式的Maxine。
如果您想在遥控和现实模式下使用Maxine，该怎么办？
这对客户服务或视频会议非常有用，我们看一下。

NVIDIA的Maxine是一项卓越的创新，旨在推进我们在这个全新的在线世界中的协作和利用Maxine，您能够（德语、西班牙语同时）实时地说多种语言。RIVA将文本转换为这些语言的语音。
Omniverse接管并将语音转换为3D面部动画。
Alex的德语、法语和西班牙语虚拟头像同时播放，根据您选择Alex虚拟头像的哪个版本，她会用相应的语言和您说话。（普通话）更好地分享您的想法。眼神交流对于吸引观众至关重要，即使我们低头看脚本，Maxine也会让您感觉，我的眼睛一直在注视您。

在这种情况下，Maxine使用计算机视觉来追踪Alex的面部，并识别她的表情，3D动画可为Alex制作虚拟而逼真的头像，因为您实际上看到的并不是真的我，而是Maxine逼真呈现的画像。

一张来自噪音环绕的咖啡馆里的画像，就像这样（这就是Maxine的魔力）。