开源深度学习模型部署工具箱MMDeploy简介及安装

      MMDeploy是一个开源的深度学习模型部署工具箱,是OpenMMLab项目的一部分,源码在 https://github.com/open-mmlab/mmdeploy,最新发布版本为v0.8.0,License为Apache-2.0。它支持在Windows10、Linux和Mac上运行。
      MMDeploy主要特性
      (1).支持超多OpenMMLab算法库,如mmcls、mmdet、mmseg、mmocr等;
      (2).支持多种推理后端,如ONNX Runtime、TensorRT、LibTorch等;
      (3).支持可扩展的C/C++ SDK框架,如Transform图像处理、Net神经网络推理等。
      MMDeploy定义的模型部署流程:如下图所示:https://github.com/open-mmlab/mmdeploy/blob/master/docs/en/get_started.md

开源深度学习模型部署工具箱MMDeploy简介及安装_第1张图片

      (1).模型转换(Model Converter):旨在将训练模型从OpenMMLab转换为可以在目标设备上运行的后端模型。它可以把PyTorch模型转换为ONNX、TorchScript等和设备无关的IR模型。也可以将ONNX模型转换为推理后端模型。两者相结合,可实现端到端的模型转换,也就是从训练端到生产端的一键式部署。
      (2).MMDeploy模型(MMDeploy Model):是Model Converter导出的结果包,除了后端模型(backend model),它还包括模型的元信息,将用于推理SDK中。
      (3).推理SDK(Inference SDK):由C/C++开发,封装了模型的前处理、网络推理和后处理过程。对外提供多语言的模型推理接口,如C、C++、Python等。

      以下内容主要来自 https://github.com/open-mmlab/mmdeploy/blob/master/README_zh-CN.md 中的新人解说:
      模型部署:
      (1).模型部署:指把训练好的模型在特定环境中运行的过程。MMDeploy实现了OpenMMLab中目标检测、图像分割、超分辨率等多个视觉任务模型的部署,支持ONNX Runtime,TensorRT,ncnn,openppl,OpenVINO等多个推理引擎。
      (2).模型部署的常见流水线是"深度学习框架--中间表示--推理引擎"。其中比较常用的一个中间表示是ONNX。
      (3).深度学习模型实际上就是一个计算图。模型部署时通常把模型转换成静态的计算图,即没有控制流(分支语句、循环语句)的计算图。
      (4).PyTorch框架自带对ONNX的支持,只需要构造一组随机的输入,并对模型调用torch.onnx.export即可完成PyTorch到ONNX的转换。
      (5).推理引擎ONNX Runtime对ONNX模型有原生的支持。给定一个.onnx文件,只需要简单使用ONNX Runtime的Python API就可以完成模型推理。
      (6).模型部署中常见的几类困难有:模型的动态化;新算子的实现;框架间的兼容。
      (7).PyTorch转ONNX,实际上就是把每一个操作转化成ONNX定义的某一个算子。比如对于PyTorch中的Upsample和interpolate,在转ONNX后最终都会成为ONNX的Resize算子。
      (8).通过修改继承自torch.autograd.Function的算子的symbolic方法,可以改变该算子映射到ONNX算子的行为。

      PyTorch到ONNX的转换函数:torch.onnx.export
      PyTorch模型到ONNX模型转换示例:https://blog.csdn.net/fengbingchun/article/details/126072998
      TorchScript是PyTorch模型(torch.nn.Module的子类)的中间表示,是一种从PyTorch代码创建可序列化和可优化模型的方法,可以在C++等高性能环境(high-performance environment)中运行。任何TorchScript程序都可以从Python进程中保存并加载到没有Python依赖项的进程中。
      torch.onnx.export中需要的模型实际上是一个torch.jit.ScriptModule。而要把普通PyTorch模型转一个这样的TorchScript模型,有跟踪(trace)和脚本化(script)两种导出计算图的方法。如果给torch.onnx.export传入了一个普通PyTorch模型(torch.nn.Module),那么这个模型会默认使用跟踪的方法导出。
      跟踪法只能通过实际运行一遍模型的方法导出模型的静态图,即无法识别出模型中的控制流(如循环);脚本化则能通过解析模型来正确记录所有的控制流。
      函数torch.onnx.export的声明如下:v1.11.0

def export(model, args, f, export_params=True, verbose=False, training=None,
           input_names=None, output_names=None, operator_export_type=None,
           opset_version=None, do_constant_folding=True, dynamic_axes=None,
           keep_initializers_as_inputs=None, custom_opsets=None,
           export_modules_as_functions=False)

      参数介绍:
      (1).前三个必选参数为模型、模型输入、导出的onnx文件名。
      (2).exprot_params:模型中是否存储模型权重。一般中间表示包含两大类信息:模型结构和模型权重,这两类信息可以在同一个文件里存储,也可以分文件存储。ONNX是用同一个文件表示记录模型的结构和权重。部署时一般都默认这个参数为 True。如果onnx文件是用来在不同框架间传递模型(比如PyTorch到Tensorflow)而不是用于部署,则可以令这个参数为False。
      (3).input_names, output_names:设置输入和输出张量的名称。如果不设置的话,会自动分配一些简单的名字(如数字)。ONNX模型的每个输入和输出张量都有一个名字。很多推理引擎在运行ONNX文件时,都需要以"名称--张量值"的数据对来输入数据,并根据输出张量的名称来获取输出数据。在进行跟张量有关的设置(比如添加动态维度)时,也需要知道张量的名字。在实际的部署流水线中,我们都需要设置输入和输出张量的名称,并保证ONNX和推理引擎中使用同一套名称。
      (4).opset_version:转换时参考哪个ONNX算子集版本,在PyTorch 1.11.0版本中,默认值为9。
      (5).dynamic_axes:指定输入输出张量的哪些维度是动态的。为了追求效率,ONNX默认所有参与运算的张量都是静态的(张量的形状不发生改变)。但在实际应用中,我们又希望模型的输入张量是动态的,尤其是本来就没有形状限制的全卷积模型。因此,我们需要显式地指明输入输出张量的哪几个维度的大小是可变的。

      ONNX介绍:https://blog.csdn.net/fengbingchun/article/details/125947000
      ONNX在底层是用Protobuf定义的。Protobuf,全称Protocol Buffer,是Google提出的一套表示和序列化数据的机制。一个ONNX模型可以用ModelProto类表示。ModelProto包含了版本、创建者等日志信息,还包含了存储计算图结构的graph。GraphProto类则由输入张量信息、输出张量信息、节点信息组成。张量信息ValueInfoProto类包括张量名、基本数据类型、形状。节点信息NodeProto类包含了算子名、算子输入张量名、算子输出张量名。
      ONNX中的onnx.utils.extract_model()可以从原模型中取出部分节点,和新定义的输入、输出边构成一个新的子模型。利用子模型提取功能,我们可以输出原ONNX模型的中间结果,实现对ONNX模型的调试。

      安装:使用conda安装一个mmdeploy的虚拟环境,ONNX Runtime仅支持CPU,TensorRT仅支持CUDA
      (1).创建mmdeploy虚拟环境:

conda create --name mmdeploy python=3.8
conda activate mmdeploy

      (2).安装PyTorch:这里PyTorch使用1.11.0版本,CUDA使用10.2版本,此CUDA版本对PyTorch各版本都支持

conda install pytorch==1.11.0 torchvision==0.12.0 torchaudio==0.11.0 cudatoolkit=10.2 -c pytorch

      (3).安装MMCV:mmcv-full 1.5.0版本

pip install mmcv-full==1.5.0 -f https://download.openmmlab.com/mmcv/dist/cu102/torch1.11.0/index.html

      (4).安装MMDeploy:从https://github.com/open-mmlab/mmdeploy/releases下载mmdeploy-0.8.0-linux-x86_64-onnxruntime1.8.1.tar.gz,解压缩后进入到mmdeploy-0.8.0-linux-x86_64-onnxruntime1.8.1目录下,执行:

pip install dist/mmdeploy-0.8.0-py3-none-linux_x86_64.whl
pip install sdk/python/mmdeploy_python-0.8.0-cp38-none-linux_x86_64.whl

      (5).安装ONNX Runtime推理引擎:安装1.8.1版本

pip install onnxruntime==1.8.1

      (6).若用到OpenMMLab中的其它工具箱还需要进行安装,如安装MMDetection 2.25.1

pip install mmdet==2.25.1

      在linux上通过源码编译mmdeploy要求
      (1).安装cmake:版本>=3.14.0;
      (2).安装gcc 7+:mmdeploy sdk中使用了C++17特性,因此需要安装gcc 7+以上的版本;
      (3).安装依赖包:conda、pytorch(>=1.8.0)、mmcv-full;
      (4).安装mmdeploy sdk依赖:opencv(>=3.0)、pplcv(可选,仅cuda下需要);
      (5).安装推理引擎:onnxruntime(>=1.8.1)、tensorrt(要保证和你机器的cpu架构及cuda版本是匹配的)、cudnn(要保证和你机器的cpu架构、cuda版本及tensorrt版本是匹配的)、ppl.nn、openvino、ncnn、libtorch、cann。

     使用MMDeploy中的工具tools/deploy.py,将OpenMMLab的PyTorch模型转换成推理后端ONNX Runtime支持的ONNX格式

     (1).MMDetection中的模型使用 https://blog.csdn.net/fengbingchun/article/details/126199218 中测试用的faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth;

     (2).将执行命令写在mmdeploy_mmdetection_to_onnx_build.sh中,如下:

#! /bin/bash

python ../../src/mmdeploy/tools/deploy.py \
    ../../src/mmdeploy/configs/mmdet/detection/detection_onnxruntime_dynamic.py \
    ../../src/mmdetection/configs/faster_rcnn/faster_rcnn_r50_fpn_1x_coco.py \
    http://download.openmmlab.com/mmdetection/v2.0/faster_rcnn/faster_rcnn_r50_fpn_1x_coco/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth \
    ../../data/image/1.jpg \
    --work-dir ../../data/model \
    --device cpu \
    --show

     (3).直接执行会报error:onnxruntime.capi.onnxruntime_pybind11_state.Fail: [ONNXRuntimeError] : 1 : FAIL : Failed to load library ~/Disk/anaconda3/envs/mmdeploy/lib/python3.8/site-packages/mmdeploy/lib/libmmdeploy_onnxruntime_ops.so with error: libonnxruntime.so.1.8.1: cannot open shared object file: No such file or directory,找不到libonnxruntime.so.1.8.1,虽然配置环境时执行了pip install onnxruntime==1.8.1,但在相关目录下搜索确实没有此库,解决方法:从https://github.com/microsoft/onnxruntime/releases 中下载onnxruntime-linux-x64-1.8.1.tgz,解压缩;并将压缩后的目录onnxruntime-linux-x64-1.8.1拷贝到mmdeploy环境下的~/Disk/anaconda3/envs/mmdeploy/目录下,然后在执行:

export LD_LIBRARY_PATH=~/Disk/anaconda3/envs/mmdeploy/onnxruntime-linux-x64-1.8.1/lib:${LD_LIBRARY_PATH}
./mmdeploy_mmdetection_to_onnx_build.sh

     (4).执行完上述命令后,会显示一样的两幅检测结果图,一个是pytorch的,一个是onnxruntime的,如下图所示:原始图像来自于网络

开源深度学习模型部署工具箱MMDeploy简介及安装_第2张图片

      并在../../data/model目录下产生onnx文件end2end.onnx。终端部分输出结果如下图所示:

开源深度学习模型部署工具箱MMDeploy简介及安装_第3张图片

      GitHub: https://github.com/fengbingchun/PyTorch_Test

你可能感兴趣的:(PyTorch,mmdeploy)