OpenVINO工具套件高级课程第一课：如何充分使用OpenVINO工具套件？

一、Traditional Computer Vision & Tools & Libraries

目前，许多平台和操作系统都支持OpenVINO的运行，并将继续扩大支持范围，支持即将推出的Inter集成显卡以及其他智能硬件。

我们可以看见，OpenVINO工具套件包括最新的最优化的OpenCV*、OpenVX*版本，以及加速视频编程和解码的Media SDK，目前Media SDK正在向Open VPL迁移。值得一提的是，之后FPGA的软件包只会根据需求直接提供，将会从正式版本中逐步分离出来。

二、Deep Learning

OpenVINO里面最重要的部分深度学习部署工具套件（Deep Learning Deployment Toolkit，DLDT）用于深度学习的推理加速，作为模型优化器和推理引擎工具套件的核心，务必掌握其使用方法。其中，模型优化器是推理之前对模型进行预处理的工具，模型优化器会输出基于原始生成的深度学习模型的IR文件，该文件仅能在OpenVINO中使用，而推理引擎可以使用IR文件，在编写的应用中执行深度学习推理请求，IR文件实际上是两个文件，包括xml文件（用于描述网络结构）和bin文件（存储模型参数权重）。

通过模型优化器可以支持各种框架下的模型，包括TensorFlow、Caffe、mxnet、ONNX等。值得一提的是，从2024版本开始，推理引擎可以不通过模型优化器转换，直接读取原生ONNX模型。推理引擎可以使用已经转换好的IR文件，并且对于相同模型只需要一套代码，推理引擎就可以部署在多种设备，如Inter CPU，灵动、酷睿或至强、Inter集成式GPU、Videos、VPU和FPGA进行推理。

使用模型优化器转换是一个离线流程，对于一个模型只需要执行一次，只需要花费几秒钟，一旦有IR文件，推理引擎可以反复使用进行推理。

1、OpenVINO整体流程

2、Open Model Zoo

Open Model Zoo提供很多直接可以使用的模型，包括检测、分类、分割、重新识别、2D、3D、音频、视频、NLP等。

3、性能测试Benchmark工具

包括Benchmark app、Accuracy Checker、Model Analyzer等。

4、其他工具

包括DL Streamer（使用少量代码构建视频分析流程）、OVMS（OpenVINO模型服务器提供推理服务器的全部资料，运行到本地或云端）、训练拓展工具、DL WorkBench（一款可视化的基于Docker的BenchMark工具）。