关于在SNPE平台上进行ONNX模型转换DLC模型

Onnx模型转化DLC模型

简介

在snpe平台上，将onnx模型转换为dlc模型

目录

• snpe平台介绍
• snpe平台与onnx配置
• onnx模型转换dlc
• 模型量化
• 关于1.38版本SNPE部署时遇到的问题

snpe平台介绍

移步官网
详细信息

snpe平台与onnx配置

注: 我本地的SNPE版本是snpe-1.38.0.qnx，以下的配置操作皆以此版本为基础。其他版本配置操作可能存在异同。
另外，ONNX文件的生成需要通过GPU生成。CPU生成的文件在SNPE平台进行DLC模型转换时会报错误。

一.解压

解压SNPE文件后可以通过查找&打开index.html文件来查阅相关信息

二.SNPE环境配置

推荐安装anaconda，参考 install 进行安装

conda create -n snpe python=3.5.2
conda activate snpe

备注:在snpe文档里，推荐的python版本是2.7或者3.5。此处推荐使用3.5.2版本的python，因为接下来配置onnx时，会存在版本兼容问题，所以为避免冗余的环境问题建议安装3.5.2版本python。

1.snpe文档推荐python版本:

Python 2.7 or Python 3.5
"/usr/bin/python" and "python" should point to intended version. It can be achieved using following steps :-
Create list of alternatives for python
$ sudo update-alternatives --install /usr/bin/python python /usr/bin/python2.7 1
$ sudo update-alternatives --install /usr/bin/python python /usr/bin/python3.5 2

接下来需要下载相关python库

numpy v1.8.1
sphinx v1.2.2
scipy v0.13.3
matplotlib v1.3.1
skimage v0.9.3
protobuf v2.5.0
pyyaml v3.10

至此，snpe的环境基本配置完毕。接下来继续配置onnx环境。

三、ONNX环境配置

1.通过pip安装:详细见onnx安装完整教程
2.通过conda安装: 如果已经安装了anaconda直接执行命令conda install -c conda-forge onnx即可(我的version=1.6.0)。

四、Environment setup for ONNX

首先确定onnx的安装路径。如果是通过anaconda安装的onnx一般存放在

anaconda3/envs/snpe/lib/python3.5/site-packages/onnx

然后定位到snpe文件目录下

cd $snpe_path/bin
source envsetup.sh -o $ONNX_DIR
# $ONNX_DIR就是你onnx的安装路径

至此关于snpe与onnx的准备工作已经结束，接下来开始进行onnx转换dlc操作。

onnx模型转换dlc

cd $snpe_path/bin/x86_64-linux-clang
./snpe-onnx-to-dlc -i $onnx_module_path -o $output_path/NAME.dlc # output_path路径后需要手动加上输出的dlc名字

在snpe-onnx-to-dlc 命令中关于的--output_path -o的描述中定义的是如果用户没有指定生成的DLC名字，将会以ONNX同名的DLC模型形式输出。但是在我实际的使用场景中，若不指定DLC名字 命令会报错，此情况尚待调查，因此目前建议在使用此命令时需要给定生成的DLC名称。

若命令行输出

2020-05-12 15:06:23,535 - 170 - INFO - INFO_CONVERSION_SUCCESS: Conversion completed successfully

则表明DLC转换成功。转换后的DLC文件保存在指定的output路径内。

错误(仅针对SNPE 1.31版本存在的问题，部分问题在1.38版本测试时已经得到解决)

因为1.31版本的SNPE对ONNX模型的转换支持不完整，因此在真正转换操作的过程中可能会报一些问题。以下是我在做转换工作时遇到的问题。

1.错误1
信息:
关于命令报snpe.convert的错误,错误的信息为from snpe.convert import onnx:
这个错误在于执行source envsetup.sh命令时错误的指引了onnx的安装目录。
解决方法:
重新正确的命令即可。

2.错误2
信息:
关于OP REGISTERED的错误，错误的信息为

KeyError: 'No translation registered for op type onnx_reducemean. Op is most likely not supported by the converter.'

解决方法:
1.31版本中暂不完全支持onnx转dlc，建议升级到1.38

3.错误3
信息:
关于OP缺少KEEPDIMS属性，错误信息为

AttributeError: op reduce_mean_0 has no attribute keepdims

解决方法:
需要文件
op_graph_optimizations.py中修改943行代码:

if not node.op.keepdims:
    AxisTracker.inject_implicit_permute(graph, input_name, target_format,
                                        permute_order, [node.op.name])
    output_buf.axis_format = AxisTracker.AxisFormat.NONTRIVIAL
else:
    AxisTracker.eltwise_to_spatial_first_order(node, graph)
axis_map = permute_order
node.op.axes = [axis_map[axis] for axis in node.op.axes]

改为：

if  node.op.keep_dims:
    AxisTracker.inject_implicit_permute(graph, input_name, target_format,
                                         permute_order, [node.op.name])
    output_buf.axis_format = AxisTracker.AxisFormat.NONTRIVIAL
else:
    AxisTracker.eltwise_to_spatial_first_order(node, graph)
axis_map = permute_order
node.op.axes = [axis_map[axis] for axis in node.op.axes]

模型量化

snpe-onnx-to-dlc的默认输出是未量化的模型。 这意味着所有网络参数都保留在原始ONNX模型中的32位浮点表示中。 要将模型量化为8位固定点， 请注意，要使用snpe-dlc-quantize进行量化的模型必须将其批处理维设置为1。通过在初始化期间调整网络大小，可以在推理过程中使用不同的批处理维。

量化前的准备

将图片转成字节形式保存，输入是浮点型，因此需要在保存的时候以4位浮点形式保存。此外，因为opencv默认是以BGR形式读取图片的，因此在保存的时候要注意格式转换。

import cv2 as cv
import numpy as np
import os

img = cv.imread($IMG_PATH)
img = cv.cvtColor(img, cv.COLOR_BGR2RGB) # 仅针对此模型
res = np.float32(img)
res.tofile($OUTPUT_PATH)

snpe-dlc-quantize工具可以将模型量化处理

snpe-dlc-quantize --input_dlc $DLC_PATH --input_list $IMGLIST_PATH
                  --output_dlc $OUTPUT_PATH

若期望模型可以在HTA上运行则增加参数--enable_hta

snpe-dlc-quantize --input_dlc $DLC_PATH --input_list $IMGLIST_PATH
                  --output_dlc $OUTPUT_PATH --enable_hta

若期望特定的层运行在HTA上则增加参数--hta_partitions

snpe-dlc-quantize --input_dlc $DLC_PATH --input_list $IMGLIST_PATH
                  --output_dlc $OUTPUT_PATH --enable_hta --hta_partitions 0-11,177-215

关于1.38版本SNPE部署时遇到的问题

介绍

之前模型转换的所有操作是基于SNPE1.31版本进行的，因此在1.31所有操作都行不通的情况下开始尝试其他版本进行转换。

下载地址

snpe-1.38.0.2034
注: 下载需要注册账户

错误复现

下载解压并配置好环境后，进入bin/x86_64-linux-clang目录进行命令操作。

(snpe-3.5) PC:~/onnx_test/snpe-1.38.0.2034/bin/x86_64-linux-clang$ ./snpe-onnx-to-dlc -h
段错误 (核心已转储)

以上是报错信息，在原版代码中只显示段错误报错信息。若要显示调试信息需要在onnx_to_ir.py代码中添加import faulthandler;faulthandler.enable()。

解决办法

该错误是由于python版本不一致导致的。目前仅在python=3.5.2版本测试成功，其他版本皆有此问题。