Pytorch版本MobileNetV3转ONNX然后转om模型使用Pyacl离线推理
Pytorch版本MobileNetV3转ONNX然后转om模型使用Pyacl离线推理
概述:本文主要讲述把MobileNet转成华为Altas服务器离线推理om模型的过程,本人在转换过程中也遇到过比较多的坑,这里把我的经验记录下来,希望大家可以少走点弯路,如果大家觉得此教程有用,记得订阅点赞加分享哦.
1. 下载官方的样例
ATC MobileNet在ascend的ModelZoo已经有相关的样例,我们先通过下面的地址去下载样例,在下面地址点击立即下载即可.
https://www.hiascend.com/zh/software/modelzoo/detail/1/a2951ef07c40424a9b0e39237466e383
下载并解压,里面有官方提供的通过ImageNet训练出来的模型,如下,
2. 安装相关的依赖
我们需要为环境安装相对应的依赖,我们这里是使用ARM架构的Altas服务器,我解决完依赖问题时候,对应的Python环境包如下所示:
asttokens==2.0.4
astunparse==1.6.3
attrs==20.3.0
auto-tune @ file:///root/selfgz270731700/fwkacllib/lib64/auto_tune-0.1.0-py3-none-any.whl
certifi==2020.12.5
cffi==1.14.4
chardet==4.0.0
click==7.1.2
Cython==0.29.21
decorator==4.4.2
easydict==1.9
Flask==1.1.2
flatbuffers==1.12
geffnet @ file:///home/jxl/guochan/dxaisix/geffnet-1.0.2-py3-none-any.whl
grpcio==1.35.0
grpcio-tools==1.35.0
gunicorn @ file:///home/jxl/guochan/dxaisix/gunicorn-20.0.4-py2.py3-none-any.whl
hccl @ file:///root/selfgz270731700/fwkacllib/lib64/hccl-0.1.0-py3-none-any.whl
idna==2.10
itsdangerous==1.1.0
Jinja2==2.11.2
joblib==0.17.0
MarkupSafe==1.1.1
mindspore-ascend @ file:///tmp/mindspore_ascend-1.1.1-cp37-cp37m-linux_aarch64.whl
mpmath==1.1.0
numpy @ file:///home/jxl/guochan/whl/numpy-1.21.3-cp37-cp37m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
onnx @ file:///home/jxl/guochan/dxaisix/onnx-1.10.2-cp37-cp37m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
onnxconverter-common==1.7.0
onnxruntime @ file:///home/jxl/guochan/dxaisix/onnxruntime-1.10.0-cp37-cp37m-manylinux_2_17_aarch64.manylinux2014_aarch64.whl
packaging==20.9
pathlib2==2.3.5
Pillow==8.1.0
protobuf==3.14.0
psutil==5.8.0
pycparser==2.20
pyparsing==2.4.7
PyYAML==5.4.1
requests==2.25.1
schedule-search @ file:///root/selfgz270731700/fwkacllib/lib64/schedule_search-0.1.0-py3-none-any.whl
scikit-learn==0.23.2
scipy==1.6.0
six==1.15.0
skl2onnx @ file:///home/jxl/guochan/dxaisix/skl2onnx-1.10.3-py2.py3-none-any.whl
sympy==1.4
te @ file:///root/selfgz270731700/fwkacllib/lib64/te-0.4.0-py3-none-any.whl
tensorflow-aarch64==1.2
threadpoolctl==2.1.0
topi @ file:///root/selfgz270731700/fwkacllib/lib64/topi-0.4.0-py3-none-any.whl
torch @ file:///home/jxl/guochan/dxaisix/torch-1.10.0-cp37-cp37m-manylinux2014_aarch64.whl
torchvision @ file:///home/jxl/guochan/whl/torchvision-0.10.0-cp37-cp37m-manylinux2014_aarch64.whl
typing-extensions==3.7.4.3
urllib3==1.26.3
Werkzeug==1.0.1
3. 准备相关的转换文件
我们把官方无用的pth模型(Pytorch输出),和om模型删除,并换上自己训练好准备转换的模型,这里我把模型统一放在models目录下面,如下所示:
对于上图中,其他的文件解释如下:
atlas_utils(现在改名为acllite):
Pyacl调用组件包,可以通过下面地址下载:
https://gitee.com/ascend/samples/tree/master/python/common
nc
存放我们这个实例中的测试图片
tools
存放我们这个实例中的自定义预处理文件
mobilenetv3.py文件
存放我们定义的mobilenetv3文件
至此,前期文件准备已经完成
4. pth模型转onnx模型并测试
更改MobileNetV3_pth2onnx.py,使其模型导入为自定义的模型,其中需要修改的部分如下,下图蓝色部分,这里需要传入正确的class_num,另外如果inputsize不是224*224的话,需要改32行的input,这里是默认input所以暂时不用修改.
通过下面的命令调用MobileNetV3_pth2onnx.py把pth模型转换成onnx模型,转换完成以后,models文件夹下面就会多一个mobilenetv3-81-best.onnx模型
python3 MobileNetV3_pth2onnx.py ./models/mobilenetv3-81-best.pth ./models/mobilenetv3-81-best.onnx
测试onnx模型
新建predict_onnx.py文件,使用转换前一样的预处理函数,用onnxrutime去调用onnx模型进行前向运算,查看输出结果和原来的是否一致
import os
import cv2
from torchvision import transforms
from tools import my_transforms
from tools.utils import BaseTransform
import onnxruntime # to inference ONNX models, we use the ONNX Runtime
train_size = (256, 256)
net_size = (224, 224)
rgb_means = (0.42819217, 0.4287907, 0.42214316)
rgb_std = (0.26126036, 0.24752016, 0.24400638)
def predict_onnx(img_path):
img_src = cv2.imread(img_path)
transformer = transforms.Compose([
my_transforms.Resize(train_size),
my_transforms.CenterCrop(net_size),
BaseTransform(net_size, rgb_means, rgb_std)])
img_src = transformer(img_src)
img_src = img_src.unsqueeze(0)
input_data = img_src.numpy()
print("input_data shape {}".format(input_data.shape))
session = onnxruntime.InferenceSession('./models/mobilenetv3-81-best.onnx', None)
raw_result = session.run([], {'image': input_data})
return raw_result
if __name__ == '__main__':
img_list = os.listdir("./nc")
for img_name in img_list:
print("predict: {}".format(img_name))
result = predict_onnx("./nc/{}".format(img_name))
print(result)
这里的输出结果,如下所示,与转换之前的结果是一致的
5. 把onnx模型转换成Pyacl所使用的om格式模型并测试使用
5.1 配置环境变量
下面需要用到模型转换工具ATC,以及PYACL离线推理包,需要先配置环境变量,过程如下,其中ascendtools的安装环境需要自己更改,本实例是安装在/usr/local/Ascend/ascend-toolkit/latest
配置ATC环境变量
export PATH=/usr/local/Ascend/ascend-toolkit/latest/atc/ccec_compiler/bin:/usr/local/Ascend/ascend-toolkit/latest/atc/bin:$PATH
export ASCEND_OPP_PATH=/usr/local/Ascend/ascend-toolkit/latest/arm64-linux/opp
export ASCEND_AICPU_PATH=/usr/local/Ascend/ascend-toolkit/latest/
配置PYACL环境变量
export PYTHONPATH=/usr/local/Ascend/ascend-toolkit/latest/arm64-linux/pyACL/python/site-packages/acl:$PYTHONPATH
export LD_LIBRARY_PATH=/usr/local/Ascend/ascend-toolkit/latest/arm64-linux/acllib/lib64:$LD_LIBRARY_PATH
5.2 onnx模型转om模型
接下来把onnx模型转换成om模型,运行下面的命令即可,运行成功后,模型
atc --framework=5 \
--model=./models/mobilenetv3-81-best.onnx \
--input_format=NCHW \
--input_shape="image:1,3,224,224" \
--output=./models/mobilenetv3-81-best \
--log=debug \
--soc_version=Ascend910
运行结果:
5.3 使用PYACL测试om模型
新建predict_pyacl.py文件,与onnx一样,参照原模型去写预处理代码,并使用pyacl的api调用离线模型
from atlas_utils.acl_model import Model
from atlas_utils.acl_resource import AclResource
from torchvision import transforms
import os
import acl
import cv2
from tools import my_transforms
from tools.utils import BaseTransform
acl_resource = AclResource()
acl_resource.init()
model = Model("models/mobilenetv3-81-best.om")
dims, ret = acl.mdl.get_input_dims(model._model_desc, 0)
_, _, height, width = tuple(dims["dims"])
print("model input: {}".format(tuple(dims["dims"])))
train_size = (256, 256)
net_size = (224, 224)
rgb_means = (0.42819217, 0.4287907, 0.42214316)
rgb_std = (0.26126036, 0.24752016, 0.24400638)
def predict_acl(img_path):
"""
Program execution with picture directory parameters
"""
"""
模仿img_preprocess.py编写
"""
img_src = cv2.imread(img_path)
transformer = transforms.Compose([
my_transforms.Resize(train_size),
my_transforms.CenterCrop(net_size),
BaseTransform(net_size, rgb_means, rgb_std)])
img_src = transformer(img_src)
img_src = img_src.unsqueeze(0)
input_data = img_src.numpy()
ptr, input_data = acl.util.numpy_contiguous_to_ptr(input_data)
print("input_data shape {}".format(input_data.shape))
result = model.execute([input_data, ])
return result
if __name__ == '__main__':
img_list = os.listdir("./nc")
for img_name in img_list:
print("predict: {}".format(img_name))
result = predict_acl("./nc/{}".format(img_name))
print(result)
运行并测试代码,输出如下结果:
可见输出的结果和onnx模型是一致的,证明转换成功了,
5.4 注意
这里有一个天坑,本人花了很长时间才确认的,如果自定义预处理中,输出的numpy数组在内存不是连续存储的,会出现下面的warning
/home/jxl/guochan/guochan_src_code/mobilenetv3/atlas_utils/acl_model.py:142: Warning: The input ndarray is discontiguous. Please use acl.util.numpy_contiguous_to_ptr instead.
ptr = acl.util.numpy_to_ptr(input_data)
ATTENTION
这个warning是不能忽略的,否则,输出的不肯能是我们想要的结果.我们先通过下面语句去看是否连续
input_data.flags
输出:
发现和上面的warning一致,储存是不连续的,所以我们需要用到下面语句,把他转成连续存储的numpy数组:
ptr, input_data = acl.util.numpy_contiguous_to_ptr(input_data)
ALL DONE!
本期的教程就到这里啦,谢谢大家的关注哦,如果大家觉得有用,记得点赞和分享哦.