比特大陆算法模型转换方法

目录

1.首先要下载SDK包和镜像包

2 创建docker开发环境 

3 模型准备

4 模型转换

---

https://github.com/sophon-ai-algo/examples/tree/cc94f7c06da1c645ec193e40537915d40f94e005/simple/yolov5

 按照以上网址的说明进行算法模型转换，

1.首先要下载SDK包和镜像包

SDK软件包下载：

• 开发docker基础镜像：点击前往官网下载Ubuntu开发镜像，请选择与SDK版本适配的docker镜像

• SDK软件包：点击前往官网下载SDK软件包，请选择与仓库代码分支对应的SDK版本

2 创建docker开发环境 

• 安装工具

  sudo apt update
  sudo apt install unzip

• 加载docker镜像:

  unzip .zip
  cd 
  docker load -i 

• 解压缩SDK：

  unzip .zip
  cd /
  tar zxvf .tar.gz

• 创建docker容器，SDK将被挂载映射到容器内部供使用：

  cd /
  # 若您没有执行前述关于docker命令免root执行的配置操作，需在命令前添加sudo
  ./docker_run_<***>sdk.sh

• 进入docker容器中安装库：

  # 进入容器中执行
  cd  /workspace/scripts/
  ./install_lib.sh nntc

• 设置环境变量-[无PCIe加速卡]：

  # 配置环境变量,这一步会安装一些依赖库，并导出环境变量到当前终端
  # 导出的环境变量只对当前终端有效，每次进入容器都需要重新执行一遍，或者可以将这些环境变量写入~/.bashrc，这样每次登录将会自动设置环境变量
  source envsetup_cmodel.sh

• 设置环境变量-[有PCIe加速卡]：

  # 配置环境变量,这一步会安装一些依赖库,并导出环境变量到当前终端
  # 导出的环境变量只对当前终端有效，每次进入容器都需要重新执行一遍，或者可以将这些环境变量写入~/.bashrc，这样每次登录将会自动设置环境变量
  source envsetup_pcie.sh

• 安装python对应版本的sail包

  # the wheel package is in the SophonSDK:
  pip3 uninstall -y sophon
  # get your python version
  python3 -V
  # choose the same verion of sophon wheel to install
  # the following py3x maybe py35, py36, py37 or py38
  # for x86
  pip3 install ../lib/sail/python3/pcie/py3x/sophon-?.?.?-py3-none-any.whl --user

3 模型准备

 这个需要注意的是，在我们导出算法模型时，需要增加相关的trace代码

SophonSDK中的PyTorch模型编译工具BMNETP只接受PyTorch的JIT模型（TorchScript模型）。

JIT（Just-In-Time）是一组编译工具，用于弥合PyTorch研究与生产之间的差距。它允许创建可以在不依赖Python解释器的情况下运行的模型，并且可以更积极地进行优化。在已有PyTorch的Python模型（基类为torch.nn.Module）的情况下，通过torch.jit.trace就可以得到JIT模型，如torch.jit.trace(python_model, torch.rand(input_shape)).save('jit_model')。BMNETP暂时不支持带有控制流操作（如if语句或循环）的JIT模型，因此不能使用torch.jit.script，而要使用torch.jit.trace，它仅跟踪和记录张量上的操作，不会记录任何控制流操作。这部分操作yolov5已经为我们写好，只需运行如下命令即可导出符合要求的JIT模型：

4 模型转换

这个直接运行脚本进行转换即可，32位的模型和int8的模型分别都有不同的脚本。

8. 各框架模型转ONNX参考 — TPU-MLIR 1.1 文档