[飞桨paddle]1. conda安装paddle环境.模型转换,pytorch(任意模型)->paddlepaddle

“一生费城七六人”

  • 1. conda装paddle环境
    • 1.1 验证是否装好
  • 2. x2paddle
      • 2.1 介绍
      • 2.2 安装
  • 3 模型转换
    • 3.1 pt -> onnx
    • 3.2 onnx > .pdparams
      • 3.2.1 会出现的错误情况
          • 3-1. 第一种情况
          • 3-2. 第二种情况
  • 4. 查看结果
  • 5. 其他模型
  • 6. 终极解法

  • 问题阐述:将yoloV5项目移至paddle框架下执行时,会发现飞桨的框架不支持pytorch框架(即yoloV5),具体表现为paddle框架需要的模型后缀为.pdparams,而原模型为.pt格式。
  • 做法是,.pt --> .onnx --> .pdparams
  • 这里是已经在yoloV5下训练好的模型,转成.pdparams即可。例训练好的模型为:plate_detect.pt

1. conda装paddle环境

conda create -n paddle_env python=3.9
conda activate paddle_env
# conda设置为清华源
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --set show_channel_urls yes
# 安装paddlepaddle的gpu版本及cudakittool(gpu版本可以使用cpu)
# 但是这里不是最新版本的,最新版本上官网
conda install paddlepaddle-gpu==2.0.2 cudatoolkit=10.2 --channel https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/Paddle/

# 已有numpy,此处安装PIL或matplotlib或OpenCV用于图片显示
pip install nibabel
conda install opencv

# 安装anaconda基本库,速度有慢,报错信息,只要不停止,一直等待即可
# 这一步时间较久
conda install anaconda
# 安装paddleseg
pip install paddleseg -i https://mirror.baidu.com/pypi/simple

安装过程如下,成功截图见下下张
[飞桨paddle]1. conda安装paddle环境.模型转换,pytorch(任意模型)->paddlepaddle_第1张图片[飞桨paddle]1. conda安装paddle环境.模型转换,pytorch(任意模型)->paddlepaddle_第2张图片

1.1 验证是否装好

  1. 输入python进入环境
python
  1. 导入paddle
import paddle
  1. 键入如下代码,查看是否成功
paddle.utils.run_check()

出现successfully,即为成功

2. x2paddle

2.1 介绍

X2Paddle 是飞桨生态下的模型转换工具, 目前已经支持 Caffe/TensorFlow/ONNX/PyTorch 四大框架的预测模型的转换,PyTorch 训练项目的转换,涵盖了目前市面主流深度学习框架,一条命令即可完成转换。

2.2 安装

pip install x2paddle

3 模型转换

  • 以下操作均在yolov5环境下执行。
    本例选用yoloV5训练好的.pt模型,转换为paddle框架能使用的.pdparams模型。

3.1 pt -> onnx

  1. 安装onnx, onnxruntime, paddle, x2paddle
pip install onnx -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
pip install x2paddle -i https://mirror.baidu.com/pypi/simple
  1. 命令行操作如下:
python ./export.py --weights plate_detect.pt --img 640 --batch 1

参数说明:

data: 数据集yaml文件路径
weights:自己的模型路径
imgsz:图片尺寸
batch-size:默认为1,不用更改
device:运行设备,若cpu,则直接写cpu,若gpu,则写0或0,1,2,3
half: 半精度,建议改为False,否则转换inference模型时会出错
dynamic:建议改为False
simplify:建议为True
opset:onnx协议,建议改为11或12
include:列表形式,储存你需要转换的模型后缀,支持torchscript, onnx, engine, coreml, saved_model, pb, tflite, tfjs
  1. 出现如下界面表示成功。
    在这里插入图片描述

ONNX export success. saved as …。现在就已经有了onnx模型。默认和原模型同名称,同路径。

3.2 onnx > .pdparams

可以从三种框架下转成paddle下需要的模型,一句话搞定,具体如下:

x2paddle --framework=onnx --model=onnx_model.onnx --save_dir=pd_model   #从onnx时
x2paddle --framework=tensorflow --model=tf_model.pb --save_dir=pd_model  #从tensorflow时
x2paddle --framework=caffe --prototxt=deploy.prototxt --weight=deploy.caffemodel --save_dir=pd_model  #从caffe时

此处是从onnx转,运行第一句即可。其中的命令参数如下:

–freamework	          需要转换的模型类型(即tensorflow、onnx、caffe)
–model	              需要转换的模型路径
–save_dir	          保存转换后的模型路径
–prototxt	          caffe模型的proto文件路径
–weight	              caffe模型的参数文件路径

执行如下语句开始导出:(paddle_inference是我自己建的文件夹)

x2paddle --framework=onnx --model=plate_detect.onnx --save_dir=paddle_inference

如下界面导出成功
在这里插入图片描述

3.2.1 会出现的错误情况

3-1. 第一种情况
  • onnx的版本最新 和 paddlepaddle最新版本 的依赖protobuf有冲突。问题如下:
  • 在这里插入图片描述
  • 大体就是组件冲突,翻译最下边两行就是问题原因,方法简单,降级onnx版本适应paddlepaddle的依赖版本就行。这里我paddlepaddle==2.4.2,将onnx降级为1.11.0即可。运行如下代码:
pip install onnx==1.10.0 -i https://mirror.baidu.com/pypi/simple
3-2. 第二种情况

The opset version of the onnx model is 12, only model with opset_version 10/11 is supported.

  • 这应该是yolov5自带的export.py导出的onnx模型是12版本导致的。
    这个时候需要打开yolov5下的export.py文件,找到参数设置里的如下句子:
    parser.add_argument('--opset', type=int, default=12, help='ONNX: opset version')
    它说12有问题,就换11呗,11还不行就一直下降,我这儿降低到9才好,执行如下语句(搜索一下,应该在97行)
parser.add_argument('--opset', type=int, default=11, help='ONNX: opset version')

然后删除那个onnx模型重新执行python export.py即可。

4. 查看结果

上边导出的paddle_inference文件夹下有如下文件和文件夹。
[飞桨paddle]1. conda安装paddle环境.模型转换,pytorch(任意模型)->paddlepaddle_第3张图片

  • 下面进行一一说明
  1. inference_model文件夹: 就是我们需要的推理模型。
  2. x2paddle_code.py: 转换后paddlepaddle构建的模型文件。
  3. model.pdparams: 模型文件的权重(不是推理模型权重)

5. 其他模型

其他模型topaddle的时候, x2paddle都可以代劳,但是tensorflow2.0模型需要经过一个中间步骤onnx,因为paddle还不支持对.pb模型的直接转换,详见
所有模型转paddle官方文档

6. 终极解法

现在是2023-5-27,好像yolo已经集成了很多模型在export里边,包含但不限于torchscript, onnx, openvino, engine, coreml, saved_model, pb, tflite, edgetpu, tfjs, paddle,而且导出之后直接是paddleinfer格式。

你可能感兴趣的:(#,深度学习,pytorch,paddlepaddle,paddle,conda,深度学习)