升级后的OpenVINO ：让边缘更智能，让AI更实用，让应用更强大

摘要：全新升级的 OpenVINO 有哪些亮点？且听一一道来。

这年头，如果你的物联网和边缘计算中没有集成 AI ，都不好意思跟人打招呼。

Gartner 预计：到 2022 年，将有 80%的企业物联网项目把 AI 作为主要组成部分。有了AI 加持的物联网，正在逐渐蔓延这个世界。其中，市场调研公司 Mordor Intelligence 判断：到 2026 年，基于边缘的机器学习将会推动 AI 物联网市场达到每年 27.3% 的复合增长率。

不过，想要开发边缘计算 AI 应用，却不容易。你要面对的是千变万化的硬件组合、纷繁复杂的网络结构、多种多样的算法和模型。无论是开发、优化，还是部署、落地，千头万绪，难以下手。

最近，英特尔刚刚发布了 OpenVINO 2021.2 版本，可以免除上述后顾之忧，帮你轻松开发更实用、更智能的高性能 AI 物联网应用。

一、让边缘计算更智能

OpenVINO 2021.2 版本中的英特尔 DevCloud for the Edge，集成了英特尔 DeepLearning Workbench。这是一套托管在云环境中的硬件平台，专门用于深度学习。开发
者不需要设置任何本地硬件，只需借助 OpenVINO，就能组合多种不同远程硬件配置，包括：英特尔 CPU、GPU、英特尔神经计算棒 2、英特尔 Arria 10 FPGA 等等，然后针对这
些不同配置，在云上完成多种机器学习模型的图形化分析、比较和调优。使用这样的方式，开发者可以提前了解所需的软硬件知识，从而避免潜在陷阱，还可以优化性能，并确认需要采购的硬件，从而加快产品上市速度。

二、让 AI 更实用

OpenVINO 2021.2 提供了多种全新预训练模型，可以提升开发效率。其中的公开模型包括：面向物体识别的 Yolov4、面向语音识别的 AISpeech、面向语义分割的 DeepLabv3。全新的预训练模型有：数学公式手写识别、通用手语识别、文本转语音；更新过的预训练模型有：人体姿势检测、机器翻译。所有这些，便于我们开发更多、更贴近生活的人工智能应用，实现“技术让世界更美好”的愿景。

三、让应用更强大

应用要想强大，性能表现很重要。2021.2 版本OpenVINO，针对使用 TensorflowQuantization-Aware（对权重进行逐通道量化）方式训练的模型，模型优化器新增了相应的逐通道量化支持，以高效的模型压缩，降低延时，提高性能。强大的应用，安全当然也是重中之重。2021.2 版本提供了全新的安全插件，使用安全打包和执行，控制模型的访问权限。该插件基于 KVM 虚拟机和 Docker 容器，部署起来快速方便。此外，对于 RedHat Enterprise Linux (RHEL) 8.2 的支持，让 OpenVINO 的应用场景更加广泛。

机器学习应用的开发，需要走过模型训练、模型优化、模型部署这三大环节。OpenVINO2021.2 在各个环节都有相应提升。

1、模型训练：

内置的 Open Model Zoo 中，新增多种预训练模型，目前已经支持超过 100 个模型，同
时在性能和精度上都有提升。

2、模型优化：

增加开放神经网络交换格式 ONNX 的多种操作，从而提升了通用性；针对 TensorFlow、MXNet 等模型也增加了多种操作支持，让开发者的选择更灵活、多样。

3、模型部署：

OpenVINO Model Server 是针对部署的高性能可扩展工具，其中的部署管理器（Deployment Manager）可以创建最小部署包，将推理程序部署到不同硬件设备中，包括英特尔的凌动、酷睿、至强、IRIS PRO 显卡、Movidius、GNA 以及 ARRiA 等多种计算硬件。

IT 业界著名的 Eclipse 基金会， 有一个下属的 IoT 调研组，他们在 2020 年的一次调研发现：在边缘计算的负载中，人工智能最为常见，占到 30%。

现在，有了 OpenVINO 这样的 AI 物联网开发利器，你还不赶紧用起来吗？