ONNXRuntime

ONNX Runtime 加速深度学习(C++ 、python)详细介绍

ONNXRuntime加速深度学习(C++、python)详细介绍本文在https://blog.csdn.net/u013250861/article/details/127829944基础上进行了更改
明月醉窗台·2023-07-24 17:41

AttributeError: module ‘onnxruntime‘ has no attribute ‘InferenceSession‘

起因：测试yolov5在本地电脑上的速度，输入640*640的图像，推理时间需要100ms左右，不正常切换到conda环境下，发现安装了onnxruntime以及onnxruntime-gpuself.net
重糖爱好者·2023-07-23 03:46

已解决ImportError: DLL 1oad failed while importing, onnxruntime_pybind11_state: 参数错误。

已解决Python导包错误ImportError:DLL1oadfailedwhileimporting,onnxruntime_pybind11_state:参数错误。
袁袁袁袁满·2023-07-22 07:54

运行ddddocr项目，报错 DLL load failed: 找不到指定的模块

我的环境是python3.7.9的...from.onnxruntime_pybind11_stateimport*#noqaImportError:DLLloadfailed:找不到指定的模块。
火浴R·2023-07-22 07:53

Linux上TensorRT环境配置【以YOLOX为例】

记录安装步骤以及过程中遇到的一些问题LinuxOS：Ubuntu20.04CUDAToolkit（cuDNN）：11.6python：3.9.16pytorch/torchvision问题一：安装onnxonnx==1.8.1onnxruntime
Morejay·2023-07-20 16:33

onnx报错问题

用onnxruntime报错：onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument:[ONNXRuntimeError]:2:INVALID_ARGUMENT
xzz_deng·2023-07-19 22:18

onnxruntime.capi.onnxruntime_pybind11_state.InvalidProtobuf: [ONNXRuntimeError] : 7 : INVALID_PROTOB

加载onnx模型报错：onnxruntime.capi.onnxruntime_pybind11_state.InvalidProtobuf:[ONNXRuntimeError]:7:INVALID_PROTOBUF
S-Tatum·2023-07-19 22:15

告诉上述代码报错的原因onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument: [ONNXRuntimeError] : 2 : INV.

这个错误的原因是输入的数据类型和预期的数据类型不匹配。根据错误信息，实际输入的数据类型是unsigned8-bitinteger(tensor(uint8))，而预期的数据类型是浮点数(tensor(float))。这意味着模型期望输入浮点数，但实际上输入的是无符号8位整数。因此，需要确保输入的数据类型与模型期望的数据类型相匹配，才能避免这个错误。
三更寒天·2023-07-19 22:44

pb转为onnx，调用报错INVALID_GRAPH

)onnx.onnx_cpp2py_export.checker.ValidationError:NoOpregisteredforCropAndResizewithdomain_versionof9onnxruntime.capi.onnxruntime_pybind11
happy Every daylala·2023-07-19 22:10

onnxruntime.capi.onnxruntime_pybind11_state.Fail: [ONNXRuntimeError] : 1 : FAIL : Load model from mn

树莓派4B在使用onnxruntime1.6.0对model.onnx模型进行加载的时候出现以下的报错：原因：由于导出的ONNX模型文件不兼容ONNXRuntime当前版本所导致的，一开始我导出模型的方式如下
季南枫(JIM)·2023-07-19 22:05

使用onnx和onnxruntime完成模型部署

模型部署定义深度学习模型部署是指训练好的模型在特定环境中运行的过程。模型部署的流水线如下：使用任意一种深度学习框架来定义网络结构并训练模型训练好的模型的网络结构和参数会被转换成一种只描述网络结构的中间表示（如，onnx、torchscript等），一些针对模型的优化会在中间表示上进行（如，onnxsimplify，读取onnx模型，将一些需要动态计算的值转换为静态值，从而对模型进行简化；onnx节
chen_zn95·2023-07-19 10:23

Onnxruntime-CUDA版本对应

ONNXRuntimeCUDAcuDNN1.141.13.11.1311.68.2.4(Linux)8.5.0.96(Windows)1.121.1111.48.2.4(Linux)8.2.2.26(Windows)1.1011.48.2.4(Linux)8.2.2.26(Windows)1.911.48.2.4(Linux)8.2.2.26(Windows)1.811.0.38.0.4(Linu
DennisJcy·2023-07-18 22:04

rapid_latex_ocr: 更快更好用的公式图像转latex工具

仓库只有基于ONNXRuntime或者OpenVINO推理onnx格式的代码，不包含训练模型代码。如果想要训练自己的模型，请移步LaTeX-OCR。如果有帮助到您的话，请给个小星星⭐或
Liekkas Kono·2023-07-17 19:07

yolov8 ONNX Runtime C++ 部署

笔记本的CPU是AMD牌子的，就只能用ONNXRuntime部署了。
爱钓鱼的歪猴·2023-07-13 20:19

VSCode配置之OnnxRuntime(CPU) && YOLOv7验证

模型部署为Cmodel并讨论推理框架的速度优势，作为VSCode配置之LibTorch(GPU)极简配置&VS2022LibTorch(GPU)验证的姊妹篇，本篇将基于VSCode和VS2022环境进行OnnxRuntime
qq_37172182·2023-06-24 10:14

基于.Net6使用YoloV8的分割模型

我们可以将.pt文件转换成.onnx格式的网络模型，然后使用Microsoft.ML.OnnxRuntime读取、运行模型进行
Heliophyte阳·2023-06-21 02:30

【yolov5系列】将模型部署到瑞芯微RK3566上面

【yolov5系列】yolov5v6.0环境配置、图片视频测试、模型可视化、v6.0的更新内容【yolov5系列】yolov5的原理与核心代码解析【yolov5系列】yolov5-onnxruntime
magic_ll·2023-06-20 20:16

onnx 推理语义分割代码

/weights/jianzhu.onnx"onnx_model=weight_pathsess=onnxruntime
中科哥哥·2023-06-20 03:32

机器学习之在线模型简单部署，基于ONNX技术

文章目录一，onnx二，onnx的作用1.提高模型的互操作性：2.加速推理引擎的开发：3.改进模型优化和调试：三，onnx的应用场景四，onnx模型部署涉及的主要函数1.onnxruntime.InferenceSession
QuietNightThought·2023-06-18 00:08

如何在c++中实现对onnxruntime推理的量化优化

在C++中实现对ONNXRuntime推理的量化优化需要使用ONNXRuntimeC++API。
Unknown To Known·2023-06-15 22:05

简单记录一下ubuntu的一些安装指令

ipython6、安装matplotlib7、安装imageio8、安装scipy9、安装redis10、安装freetype11、pip增加延迟信息12、Centos安装python312、pip安装onnx、onnxruntime13
hjxu2016·2023-06-10 08:45

更新中-深度学习实战中遇到的一些概念+少量代码

importonnxruntime#加载模型session=onnxruntime.InferenceSession('model.onnx')#运行模型。
陆沙·2023-06-07 12:56

[segment-anything]使用onnxruntime部署sam模型，速度提高30倍！

准备工作1、一台带有英伟达显卡的电脑2、anaconda环境3、CUDA以及cudnn前言最近sam火遍了cv圈，号称可用一个模型分割一切，本文使用sam导出onnx模型，并通过onnxruntime（
青岛哈兰德·2023-06-07 03:00

ONNX模型转TRT部署推理c++

ONNX的推理可以用ONNXRuntime官方库，如果在英伟达平台上，可以转TensorRT后运行。本文主要介绍转TRT格式后如何C++部署运行。
maxruan·2023-04-21 15:06

C++ ubuntu环境下安装编译部署环境，用onnxruntime部署ppyoloe_r模型

在新安装的ubuntu环境下修改源、安装gcc和cmake，编译安装opencv，安装onnxruntime环境。并编写cmakelist文件，编译与运行ppyoloe_r模型。
万里鹏程转瞬至·2023-04-20 05:26

ModuleNotFoundError:No module named “te_fusion“

AsecendTensorCompiler简称ATC，昇腾张量编译器，主要是将开源框架的网络模型或AscendIR定义的单算子描述文件(json格式)转换为昇腾AI处理器支持的om格式场景描述:ONNXRuntime
慕思侣·2023-04-19 14:01

pytorch 38 对tensorRT、openvino、onnxruntime推理速度进行对比

本博文对tensorRT、openvino、onnxruntime推理速度进行对比，分别在vgg16、resnet50、efficientnet_b1和cspdarknet53四个模型进行进行实验，对于
万里鹏程转瞬至·2023-04-18 01:40

onnxruntime 运行过程报错“onnxruntime::Model::Model Unknown model file format version“

背景这几天在玩一下yolov6，使用的是paddle框架训练的yolov6，然后使用paddl转成onnx，再用onnxruntime来去预测模型。
肥宅程序员aka不会游泳的鱼·2023-04-16 23:35

windows编译FastDeploy并使用yolov5对人脸进行检测

PaddlePaddle/FastDeploy2.使用ninja编译cmake-GNinja-Bbuild_ninja-DBUILD_EXAMPLES=ON^-DENABLE_ORT_BACKEND=ON^#用onnxruntime
telllong·2023-04-14 12:13

Pytorch分类模型转onnx以及onnx模型推理

Pytorch分类模型转onnx以及onnx模型推理将MobileNetV2的pytorch模型转换为ONNX模型,并用onnxruntime进行测试_cumtchw-程序员秘密Onnx模型推理（Python
xys430381_1·2023-04-14 03:51

【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）

ONNX模型部署环境创建1.onnxruntime安装2.onnxruntime-gpu安装2.1方法一：onnxruntime-gpu依赖于本地主机上cuda和cudnn2.2方法二：onnxruntime-gpu
JLGao的博客·2023-04-12 06:22

学习记录之使用opencv部署yolov7

首先感谢大佬提供的开源代码：GitHub-hpc203/yolov7-opencv-onnxrun-cpp-py:分别使用OpenCV、ONNXRuntime部署YOLOV7目标检测，一共包含14个onnx
Cassiel_cx·2023-04-06 05:39

yolov5使用onnxruntime进行c++部署

文章目录前言1.使用onnxruntime2使用onnxruntime进行c++部署1.使用onnxruntime的主要头文件2.自定义参数配置结构3.YOLOv5模块初始化输入图像预处理resize像素值归一化并将输入的
AI、明察秋毫·2023-04-05 10:19

ONNX：C++通过onnxruntime使用.onnx模型进行前向计算【下载的onnxruntime是编译好的库文件，可直接使用】

ONNXRuntime(OpenNeuralNetworkExchange)是微软推出的一款针对ONNX模型格式的推理框架，用户可以非常便利的用其运行一个onnx模型。ONNXR
u013250861·2023-04-05 10:44

Yolov5 C++ GPU部署方式介绍：ONNX Runtime

1.ONNX和Tensorrt区别ONNXRuntime是将ONNX模型部署到生产环境的跨平台高性能运行引擎，主要对模型图应用了大量的图优化，然后基于可用的特定于硬件的加速器将其划分为子图（并行处理）。
AI&CV·2023-04-05 10:14

pytorch项目实战之实时人脸属性检测系统

简介本项目采用CelebA人脸属性数据集训练人脸属性分类模型，使用mediapipe进行人脸检测，使用onnxruntime进行模型的推理，最终在intel的奔腾cpu上实现30-100帧完整的实时人脸属性识别系统
XINFINFZ·2023-04-04 12:53

MMDeploy学习笔记（一）：模型部署基础知识

MMDeploy学习笔记（一）：模型部署基础知识概述ONNX模型模型部署案例-分类模型ResNetPytorch模型转ONNX模型使用ONNXRuntime对ONNX模型进行推理使用TensorRT对ONNX
cv-player·2023-04-03 00:24

Linux下开源库的使用(共享库文件&头文件&配置全局搜索)(WSL)

这俩需求一般都包含在下载下来的文件，这里以下载好的onnxruntime-linux-x64-1.4.0.tgz为例(这是on
今天喝可乐·2023-04-02 23:52

Ubuntu下安装和编译onnxruntime

onnxruntime是一种用于onnx格式的机器学习模型的高性能推理引擎，适用于Linux，Windows、Mac及嵌入式设备。
Cassiel_cx·2023-04-01 13:56

已解决ERROR: pip’s dependency resolver does not currently take into account all the packages that are i

sdependencyresolverdoesnotcurrentlytakeintoaccountallthepackagesthatareinstalled.Thisbehaviouristhesourceofthefollowingdependencyconflicts.onnxruntime1.13.1requiresnumpy
袁袁袁袁满·2023-03-31 01:07

源码编译onnxruntime（打开onednn/oneapi）

本文使用源码编译ort框架原因是需要打开某些开关（比如one-api），0.4.0版本有–openmp,–use_mkl,–use_mkldnn，–use_openvino等等开关，现在编译1.9.1版本的ort，openmp作者不建议打卡，当然可以自己调用线程数来加速，重要的是use_dnnl（mkldnn，mkl）这个开关，现在已经讲mkl，mkldnn合并。下面有一些注意事项，一切还是以官方
bo.qiu_xbw·2023-03-30 04:46

模型部署之 ONNX ONNXRuntime

通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用Pytorch，有的同学喜欢使用TensorFLow，也有的喜欢MXNet，以及深度学习最开始流行的Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，在模型进行部署推理时就需要不同的依赖库，而且同一个框架比如tensorflow不同的版本之间的差异较大，为了解决这个混乱问题，LFAI这个组织联合Facebook,Micro
默写年华Antifragile·2023-03-29 07:59

OnnxRuntime 性能调优

OnnxRuntime性能调优文档的一些笔记：性能调优小工具ONNXGOLiveTool这玩意儿有俩docker容器来实现支持，一个优化容器和一起模型转换容器。
门被核桃夹了还能补脑嘛·2023-03-14 07:34

onnxruntime-gpu使用记录

1onnxruntime-gpu的优势相比于onnxruntime，使用onnxruntime-gpu在gpu上进行模型推理的速度会明显加快。
Cassiel_cx·2023-02-19 07:44

图像分类----模型部署

---模型部署代码流程1.引入库2.载入预训练分类模型3.Pytorch模型转ONNX模型4.验证onnx模型导出成功代码流程把原生Pytorch训练得到的图像分类模型，导出为ONNX格式，用于后续在ONNXRuntime
无盐薯片·2023-02-17 18:12

5、自动获取onnx模型的输入输出节点，并进行前向推理

importonnximportonnxruntimeclassONNXModel():def__init__(self,onnx_path):""":paramonnx_path:"""self.onnx_session=onnxruntime.InferenceSession
小树苗m·2023-02-17 18:07

paddlepaddle人体属性识别onnx模型推断示例（python）

人体属性识别的推断模型官方下载通过paddle2onnx导出，同时去掉了hardsigmoid层从而方便部署到板端上，推断示例剥离了paddleclas的前后处理依赖，只使用opencv进行基础图像处理，使用onnxruntime
XINFINFZ·2023-02-05 21:28

[Pytorch图像分类全流程实战]Task07:模型部署

目录第一个问题具体内容【A】部署lmageNet预训练图像分类模型【A】安装配置环境【B】导出ONNX模型【C】推理引擎ONNXRuntime部署-预测单张图像【D1】推理引擎ONNXRuntime部署
pink_storm·2023-02-04 07:21

No module named ‘XXX‘

今天在使用onnxruntime进行模型部署时，一直报错：Nomodulenamed'onnxruntime'，根据网上教程也安装了ONNX和onnxruntime，但是还是一样的报错，找了很久也没有解决办法
Day Day Learning·2023-02-03 22:16

Jetson NX上无法安装onnxruntime-gpu

无法通过pipinstallonnxruntime-gpu来安装onnxruntime-gpu注意onnxruntime-gpu支持CPU和GPU，但是onnxruntime仅支持CPU！
C++有手就行·2023-02-03 17:08
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他