在 5G 通信、大数据、人工智能等技术不断驱动的大背景下，云计算与边缘计算的协同发展正在成为未来重要趋势。随着云边协同不断演进，AI 解决方案的不断规模化部署，AI+IoT边云架构成为了解决企业数字化转型、典型工作场景下算力问题的关键。
在此过程中，发力打通“软硬件”适配且在 AI 芯片、AI 算力方面不断创新突破的英特尔，率先提出并掌握了驱动创新与变革的”四大超级力量“——人工智能、无所不在的计算、无处不在的连接、从云到边缘的基础设施之间的互动和协作，且从中探索出了更大的变革—— Intel OpenVINO™ （2.2.1 版本）。
在 6 月 28 日举办的“Intel +微软 2022 中国 AI 开发者峰会”上，来自英特尔 AI 软件布道师武卓、微软人工智能和物联网实验室 AI 工程师 Joe Chen 以及专家团体就为我们带来了全新版本的 Intel OpenVINO™ 等相关精彩分享。
全新的 Intel OpenVINO™ （2.2.1 版本）通过高效的硬件带动云-边-端来快速实现“七行代码完成推理”的高性能人工智能推理，以解决企业在复杂业务下的大量数据计算需求及简化云端规模性开发等难题，不断加速AI推理，为开发者赋能。
使用 OpenVINO™ 在 “云-边-端”快速实现高性能人工智能推理
众所周知，企业在实现物联网升级的过程中，AI+IoT 边云架构方案可以让边缘采集到的数据能够实现更现代化、可加速的操作。全新升级的 Intel OpenVINO™ （2.2.1 版本）（https://www.openvino.ai）不仅可以帮助企业实现在云端进行规模性的复杂业务、大量数据的计算服务，同时还能在云端支持多种不同的 AI 框架及多种服务。
通过 OpenVINO™ 来实现边云架构优势众多，可简化云端的训练开发，避免了下载软件、配置安装步骤，直接使用云端所提供的所有计算资源和服务；边缘端则可进行推理得到实时决策，从而快速得出推理结果，同时又能够避免向云端去传输大量数据所造成的高成本。
边缘端采集到的数据直接通过内置 Intel CPU 的边缘设备进行推理后，可通过 OpenVINO™ 将该训练好的 AI 模型进行部署、优化及推理加速。对于边缘端推理得到的数据结果，又可通过日志或诊断结果的方式将其上传至云端，在通过云端进一步加工来产生更大规模和深度的分析，或形成大型的数据看板，从而帮助企业海量数据管理时的可视化，方便企业对于各业务层面的管理。
另外，形成新的训练样本的边缘数据上传到云端后，还可辅助云端现有模型进一步训练迭代和优化升级，深度的分析、报表加工及模型重训练，之后再将重训练后的新模型下发到达边缘端，边缘端又可以采用新的模型进行更精确的推理。
因此，通过 OpenVINO™ 实现的边云协同方式可为企业带来更高质量的 AI 解决方案，以解决实际使用场景中的很多痛点。目前，通过 OpenVINO™ 实现的边云结合解决方案已有智慧医疗（AI宫颈癌病理筛查）、智能制造（AI实时产品缺陷检测）两个落地案例以及基于 OpenVINO™ 智慧园区 AI 方案。
如何通过 OpenVINO™ 实现边缘端高速采集数据实时推理部署
很多时候，高功耗高成本的 GPU 其实在边缘端并是非必要的，所以企业或开发者就会考虑是否能通过现有设备里已使用的 CPU 在边缘端对神经网络模型做部署和推理。全新升级的OpenVINO™ （2.2.1 版本）就是一款可以帮助大家在 CPU 上对边缘端实现接近于或者达到实时 AI 模型推理的解决方案。
为了方便开发者使用开源工具套件，OpenVINO™ （2.2.1版本）设计了简单的“开发者旅程”，只需通过“创建、优化、部署”三个步骤，就能创建一个模型训练或下载开源的预训练模型。
在“创建”步骤中，OpenVINO™ （2.2.1版本）的 Open model zoom 提供了超过 270 个由英特尔验证和优化过的预训练模型（超 400 个百度飞浆预选模型），使用非常方便。
“优化”步骤中，开发者在得到需要使用的 AI 模型后，OpenVINO™ （2.2.1 版本）提供的一整套优化工具（MO、NNCF、POT），可帮助开发者压缩模型大小，同时提升推理的速度。
“部署”步骤中，可以方便大家在实际使用环境中，将模型部署在各个硬件平台上。
目前，OpenVINO™ （2.2.1 版本）已支持对多个深度学习框架训练出来的模型进行优化、部署和推理加速，比如大家熟知的 TensorFlow 、PyTorch 以及百度飞桨等深度学习框架。
OpenVINO™ （2.2.1）的部署优势
OpenVINO™（2.2.1版本） 可部署在英特尔 CPU 、IGPU、VPU 等多个硬件平台，且可在不同的操作系统上运行，如 Windows 、Mac 、Linux 都可方便操作，同时为了方便安装使用，OpenVINO™（2.2.1版本）也提供了非常丰富的安装方式。
一、一次撰写代码，可多次部署在多个硬件平台
通过在命令行里可选不同设备名称的方式，只需更换该设备名称，就可以直接将模型部署到不同的地方去。比如当设备名称选择 CPU时 ，就可以将模型部署到类似于 grey 的 CPU 上；设备名字换成 GPU 时，就可将模型运行在 IGPU的一个集成 GPU 上；设备名称换成 varia 时，就可将其运行在 movidias 的 VPU 芯片上。
OpenVINO™（2.2.1版本）还提供了 heron 模式，可支持更多部署。采用 heron 模式后，就可以将该模型内部适合在 GPU 上的运行的运算放在 GPU 上运行，适合 CPU 上运行的模型的计算放在 CPU 上运行。
另外还有 multi 模式，multi 模式可将该模型所有的计算并行运行在 GPU 和 CPU 上，可最大程度地利用计算资源以并行运行，运行推理的速度也会加快。
开发者通过 OpenVINO™（2.2.1版本）可直接在CPU 和 GPU 上做推理（GPU 的推理速度相对快一点），但在 GPU 上做 AI 推理时，往往需要消耗大量时间将模型进行加载和编译，所以如果开发者在使用 GPU 推理时，往往要等待很长的时间才能得到第一次推理的结果。
二、auto-自动设备：CPU 加速推理
面对以上问题，OpenVINO™（2.2.1）新版本里添加的可将设备名称更换为“ auto 自动设备”的选项，完美结合了 CPU 和 GPU 的特点，可以解决不同场景下高吞吐量、低延迟等推理性能需求，让开发者无需长时间等待就能立刻看到推理结果。
以往，开发者在开发应用时需要跨多个硬件平台如 CPU 、GPU、 BPO ，需要针对不同的硬件撰写很多代码来完成这种复杂的硬件平台的切换。而现在，只需要把这个设备名称换成 auto ，就可以把模型直接部署在“ auto ”设备上，而该被称为“performance hints”的 auto 设备则相当于在 CPU 和 GPU 的插件上重构的虚拟插件，
其他亮点：Azure+OpenVINO™、PaddlePaddle+OpenVINO™
全新升级的 OpenVINO™（2.2.1版本）在以往视觉的基础上，新添加了自然语言处理、语音等领域的支持及优化推理的加速，其中就包括对自然原处理模型的动态支持，可解决机器问答时长短句的问题。
同时，OpenVINO™（2.2.1版本）还支持百度开源飞桨 PaddlePaddle 的深度学习框架，通过对飞桨 PaddlePaddle 的深度融合的支持，为开发者带来更多价值。比如 Paddle的bert 、OCR 等，OpenVINO™（2.2.1版本）开发者无需进行任何中间格式的转换，就可以直接读取部署和推理。
OpenVINO™（2.2.1版本）也提供了“ Benchmark App ”工具，可让开发者用通过该工具来在自己的电脑上测试网络性能。
当然，还有在 github 上开源的 OpenVINO™ nobooks 资源，里面提供了很多代码示例，方便开发者下载，从而了解 OpenVINO™ 在具体任务和场景下是如何推理和部署的。
另外，OpenVINO™ 还可以运行在云资源如微软的 Azure 云上。当注重云端算力的微软，遇上注重与硬件结合的 OpenVINO™，基于微软Azure+OpenVINO™ 的解决方案就为不少企业提供了落地场景（如研华科技）。通过 Azure+OpenVINO™，将学习推理出的结果放在 OpenVINO™ 上运行，让 AI 开发更快速高效便捷。
写在最后
Intel OpenVINO™ 是英特尔于2018年推出的一款可在 CPU/GPU 上做 AI 推理的一站式 AI开发工具，该产品自推出以来已帮助数十万开发者大幅提升了 AI 推理性能，且将其应用从边缘计算扩展到企业和客户端。
在今年的 2022 年巴塞罗那世界移动通信大会前夕，英特尔推出了 Intel 发行版 OpenVINO™ 工具套件的全新版本。全新版的 OpenVINO™ 增加了硬件自动发现和自动优化功能，以及更多的深度学习模型选择、更多的设备可移植性选择以及更高的推理性能和更少的代码更改，让软件开发者可以在任意平台上实现最优性能。
作为全模型的工具链，全新升级的 OpenVINO™ 可谓 Intel 整个完整生态工具站的核心，其在部署端可以在不同平台作异构平台加速，在 CPU/GPU 上就能提高性能推理，有效降低开发者开发门槛，为持续演进的整个 AIoT 生态赋能。