ONNXRuntime 第6页

Failed to create CUDAExecutionProvider.

FailedtocreateCUDAExecutionProvider.Pleasereferencehttps://onnxruntime.ai/docs/reference/execution-providers

枯叶蝶KYD·2023-01-19 10:12

使用onnxruntime-gpu 模型推理

1.安装onnxruntime-gpu新版的onnxruntime-gpu即支持gpu的推理，也支持cpu的推理。

liguiyuan112·2023-01-19 10:41

Jetson系列安装onnxruntime-gpu

在官网下载.whl文件：JetsonZoo-eLinux.org不用下载太高的版本，会出现很多问题，我的JetPack是4.5，安装了1.8.0版本：pipinstallonnxruntime_gpu-1.8.0-cp36-cp36m-linux_aarch64.whl然后import一下看看是否调用的GPU：importonnxruntimeonnxruntime.get_device()onn

Jodie大白话·2023-01-19 10:41

How to predict fast? 修改onnx model支持batch模式

在onnxruntime中如何可以支持“batching”模式使模型前向运行更快呢：Forexample,ifyourmodelhasgraphinput(takingimagecase)ofshape

慕思侣·2023-01-18 23:27

计算机视觉框架与OpenCV框架

传统计算机视觉框架：Matlab,Matrox,Halcon,OpenCV,VisionPro深度学习计算机是视觉框架OpenVINO,TensorRT,onnxruntime,Deepface,YOLO

就是想读个研究生·2023-01-18 10:43

【模型部署】Pytorch-＞ONNX-＞trt

1.电脑环境主要注意cuda、cudnn、pytorch、tensorrt、onnx、onnxruntime的版本。

mjiansun·2023-01-18 08:24

PyTorch开发者福音, OpenVINO整合PyTorch实现推理加速

不用再犹豫了，我们与微软紧密合作开发并很高兴地宣布，OpenVINO™与ONNXRuntime用于PyTorch的集成

FoxJK1015·2023-01-17 14:08

神经网络部署

神经网络部署基础知识大佬提出标准，每个公司的实现都有自己的方法神经网络部署网络改进的优点和建议onnxruntime运行实例使用onnxruntime加速你的网络importonnxruntimeimportnumpyasnp

麻花地·2023-01-17 09:08

window 安装onnx和onnxruntime-gpu（python版）

目录1.conda_py37.yaml文件2.命令行安装3.效果4.代码测试环境配置环境cuda10.2，onnx1.8.0，onnxruntime-gpu=1.6.0其他版本对应关系：CUDA-onnxruntimeInstructionstoexecuteONNXRuntimeapplicationswithCUDAhttps

Mr.Q·2023-01-15 10:46

【python初级】windows安装onnx、onnxruntime以及onnxruntime-gpu

【python初级】windows安装onnx、onnxruntime以及onnxruntime-gpu1、背景2、升级pip3、pip安装onnx4、pip安装onnxruntime5、pip安装onnxruntime-gpu1

jn10010537·2023-01-15 10:13

【模型部署】人脸检测模型DBFace C++ ONNXRuntime推理部署（2）

系列文章目录【模型部署】人脸检测模型DBFaceC++ONNXRuntime推理部署（0）【模型部署】人脸检测模型DBFaceC++ONNXRuntime推理部署（1）【模型部署】人脸检测模型DBFaceC

liuz_notes·2023-01-14 15:11

WebAI.js：一个简单的网页前端 AI 模型部署工具

1.简介WebAI.js是一个基于OpenCV.js和ONNXRuntime开发的一个Web前端AI模型部署工具项目GitHub：AgentMaker/WebAI.js可通过在线体验网站HelloWebAI.js

jm_12138·2023-01-13 09:33

pytorch.onnx.export方法参数详解，以及onnxruntime-gpu推理性能测试

Torch.onnx.export执行流程：1、如果输入到torch.onnx.export的模型是nn.Module类型，则默认会将模型使用torch.jit.trace转换为ScriptModule2、使用args参数和torch.jit.trace将模型转换为ScriptModule，torch.jit.trace不能处理模型中的循环和if语句3、如果模型中存在循环或者if语句，在执行tor

胖胖大海·2023-01-12 15:42

torch转onnx遇到的坑（一）

遇到的问题及解决方案ONNX不支持torch.linspaceONNX不支持torch中的grid_sampler操作**完美解决方案：用mmcv中的gridsample替换，支持onnx模型导出，支持onnxruntime

JoeyChen1219·2023-01-12 15:41

使用ONNXRuntime部署阿里达摩院开源DAMO-YOLO目标检测，一共包含27个onnx模型(代码开源)...

2022点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院学习群｜扫码在主页获取加入方式获取代码｜关注并回复“onnx部署”01概述ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个

计算机视觉研究院·2023-01-09 20:50

ONNX、onnxruntime学习记录及相关错误整理

1、介绍的比较好的博客https://www.cnblogs.com/vh-pg/p/11736174.html2、onnx算子1)convweight=np.arange(36).reshape([2,2,3,3])X=onnx.helper.make_tensor_value_info('X1',TensorProto.FLOAT,[1,2,5,5])W=onnx.helper.make_te

weixin_44594953·2023-01-09 07:28

基于ONNX人脸识别实例(SCRFD/ArcFace)-C#版

二、人脸检测(FaceDetection)usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingMicrosoft.ML.OnnxRuntime

Yang.O·2023-01-08 11:52

模型推理加速系列|如何用ONNX加速BERT特征抽取-part2(附代码)

背景本文紧接之前的一篇文章如何用ONNX加速BERT特征抽取，继续介绍如何用ONNX+ONNXRuntime来加速BERT模型推理。

JasonLiu1919·2023-01-05 19:38

模型推理加速系列|如何用ONNX加速BERT特征抽取(附代码)

本次实验目的在于介绍如何使用ONNXRuntime加速BERT模型推理。实验中的任务是利用BERT抽取输入文本特征，至于BERT在下游任务(如文本分类、问答等)上如何加速推理，后续再介绍。

JasonLiu1919·2023-01-04 09:58

vs2019编译onnxruntime x64 支持cuda

环境：vs2019+cuda11.0+cudnn11.01.下载onnxruntime源码：源码地址：https://gitee.com/mirrors/onnx-runtime也可以使用github的官方地址

Tipstips·2023-01-01 15:24

基于onnxruntime的C++版本CPU/GPU源码编译

基于onnxruntime的C++版本CPU/GPU源码编译提示：基于onnxruntime的CPU/GPU源码编译，C++版本文章目录基于onnxruntime的C++版本CPU/GPU源码编译前言一

三横先生·2023-01-01 15:23

[干货]Ubuntu 20.04编译onnxruntime cpu/gpu

本教程分享如何在Ubuntu20.04中编译onnxruntime，关于为什么要自己编译onnxruntime，可能有以下几个原因：官方编译的python包或c/c++动态库与部署环境不同，这时需要针对自己的环境

北极熊99·2023-01-01 15:51

onnxruntime生成及部署

上查看pytorch1.8.1对应的版本是onnxruntimev1.8.1我的pytorch是1.12所以下载的是onnxruntimev1.12.0gpu版本选择cpu或者gpu:https://onnxruntime.ai

happy Every daylala·2023-01-01 15:20

onnxruntime cuda版本使用时出现的错误汇总

1用qtc++推理onnxruntimecuda时出现诸如E:onnxruntime:barcode,provider_bridge_ort.cc:995onnxruntime::ProviderLibrary

captain_richard·2023-01-01 15:50

window通过nuget安装onnxruntime-gpu（c++版）

目录1.下载2.安装配置目标：cuda10.2，cudnn8.0.3，onnxruntime-gpu1.6.0，opencv4.2其他版本对应关系：CUDA-onnxruntimeInstructionstoexecuteONNXRuntimeapplicationswithCUDAhttps

Mr.Q·2023-01-01 15:19

【ONNXRuntime】python找不到指定的模块：onnxruntime\capi\onnxruntime_providers_shared.dll

问题：使用pyinstaller编译的onnxruntime可执行程序，执行时出现错误[E:onnxruntime:Default,provider_bridge_ort.cc:937onnxruntime

there2belief·2023-01-01 15:19

onnxruntime-gpu + windows + vs2019 cuda加速推理C++样例超详细

一、环境配置全是windows下的版本cuda：11.111.411.7三个版本都试过，都是ok的cudnn：8.5.0onnxruntime：1.12.1relase版本onnxruntime-gpu

ideal_mu idealmu·2023-01-01 15:48

【模型部署】人脸检测模型DBFace C++ ONNXRuntime推理部署（1）

系列文章目录【模型部署】人脸检测模型DBFaceC++ONNXRuntime推理部署（0）【模型部署】人脸检测模型DBFaceC++ONNXRuntime推理部署（1）【模型部署】人脸检测模型DBFaceC

liuz_notes·2022-12-31 08:38

获取 onnx 模型的输入输出信息 Python 脚本

originalpool/output.onnx"#onnx_path="custompool/output.onnx"provider="CPUExecutionProvider"onnx_session=onnxruntime.Infer

氵文大师·2022-12-30 20:06

onnxruntime-gpu用pyinstaller打包报错找不到CUDA解决方案

问题由来：在将深度学习模型转为onnx格式后，由于不需要依赖之前框架环境，仅仅需要由onnxruntime-gpu或onnxruntime即可运行，因此用pyinstaller打包将更加方便。

@会飞的毛毛虫·2022-12-30 08:58

OCR 跨平台工程化onnxruntime gpu c++代码

OCR跨平台工程化onnxruntimegpuc++代码网上关于onnxruntime运行在gpu环境下运行OCR模型的代码较少，经过查阅，其实就是在初始化模型的时候这样写就可以了voidDbNet::

肥宅程序员aka不会游泳的鱼·2022-12-29 16:45

【YOLOX训练部署】YOLOX ONNX 使用GPU进行推理

具体操作：首先卸载onnxruntime，并安装onn

乐亦亦乐·2022-12-29 16:14

报错“can‘t pickle onnxruntime.capi.onnxruntime_pybind11_state.InferenceSession objects“问题解决

在使用onnx模型进行python的多进程推理的时候，遇到这个报错。搞明白报错原因之后，这里给出一个解决办法使用python多进程进行ONNX和torch模型的的推理时候，习惯性把初始化构建推理引擎，初始化模型这个操作放在主进程，一般来讲都是这样做的，子进程只负责推理。在设置为multiprocessing.set_start_method(‘spawn’)，torch可以正常多进程推理。onnx

CaiDou_·2022-12-29 16:13

【ONNX】pytorch模型导出成ONNX格式：支持多参数与动态输入

ONNX(OpenNeuralNetworkExchange)格式是一种常用的开源神经网络格式，被较多推理引擎支持，比如：ONNXRuntime,IntelOpenVINO,TensorRT等。

there2belief·2022-12-29 16:42

onnxruntime推理CPU GPU切换

onnxruntime推理CPUGPU切换1、切换CPU与GPU1、切换CPU与GPU在anaconda环境下安装了onnxruntime和onnxruntime-gpu，在使用时总是默认调用gpu版本的库

落花逐流水·2022-12-29 16:42

onnxruntime GPU 部署

安装onnxruntime-gpu（注意是gpu版本）pipinstallonnxruntime-gpu确认是否安装成功>>>importonnxruntime>>>onnxruntime.get_device

绝望的少女·2022-12-29 16:42

【ONNXRuntime】Win10 GPU环境 ONNXRuntime下载与VS开发配置

ONNXRuntime下载下载地址：Releases·microsoft/onnxruntime(github.com)在下载地址找到对应版本，历史版本在Assets点开折叠后可以看到，可下载内容如下，

there2belief·2022-12-29 16:41

onnxruntime-gpu使用问题

使用onnx+GPU推理yolov4/v5模型的时候报错：warnings.warn(“Cannotloadonnxruntime.capi.Error:‘{0}’”.format(str(e)))Traceback(mostrecentcalllast):File“D:\Program\pyDev\Anaconda\envs\pytorch\lib\site-packages\onnxrunti

Mirinda_cjy·2022-12-29 16:40

onnxruntime CPU和GPU推理测试

最近在做移动端模型移植的工作，在转换为onnx中间模型格式的时候，利用onnxruntime加载onnx模型进行推理，为了对比CPU与GPU的推理时间，需要分别进行测试。

GeneralJing·2022-12-29 16:09

onnxruntime推理时切换CPU/GPU以及修改onnx输入输出为动态

最近某些项目因为显存不够，onnxruntime推理时切换CPU/GPU，实现某些模型在CPU上推理，某些在GPU上推理。

CaiDou_·2022-12-29 16:38

onnxruntime 使用，删除、修改

输出中间层数据（python）importonnxfromonnximporthelpermodel=onnx.load("C:/Users/Desktop/fastscnn_0907_fix.onnx")#名字命名为想要输出层对应的节点名，参数类型、维度，需要自己给出info=helper.make_tensor_value_info('552',onnx.TensorProto.INT64,[

zxxx66·2022-12-26 11:27

模型转换：pytorch模型转onnx, onnx转tensorflow, tensorflow转tflite

文章目录软件版本：pytorch模型转onnxonnx模型转tensorflowtensorflow模型转tflite软件版本：tensorflow2.3.1pytorch1.6.0onnxruntime1.8.1cv24.5.3onnx_tf1.8.0onnx1.10.1pytorch

城俊BLOG·2022-12-26 03:28

pytorch模型转onnx遇到的问题记录

1.AttributeError:module‘onnxruntime‘hasnoattribute‘InferenceSession‘解决方法FAIL:Non-zerostatuscodereturnedwhilerunningAddnode

旺旺棒棒冰·2022-12-25 21:33

java web项目部署pytorch模型方案探索

二、方案探索1.使用java部署推理模型1.1资料：onnx支持使用javaapi：https://github.com/microsoft/onnxruntime/tree/master/javapytorch

在知识的海洋中遨游·2022-12-25 13:47

部署Pytorch模型到C++环境

三种部署Pytorch模型到C++环境的方式文章目录三种部署Pytorch模型到C++环境的方式前言一、pytorch2onnx二、三种部署的方式1.opencv加载onnx2.onnxruntime加载

双木linwis·2022-12-23 17:52

darknet cpp weights模型转换成ONNX模型

整理不易,如果觉得有用,记得点赞收藏和分享哦1.下载转换需要的代码文件在下面地址下载代码文件https://gitee.com/liangjiaxi2019/pytorch-YOLOv42.安装onnxruntime

HELLOWORLD2424·2022-12-22 12:56

Onnxruntime之YOLOP部署过程记录

文章目录YOLOP简介导出ONNX模型OnnxruntimeC++部署cmakelists.txt初始化加速器设置和选择创建会话获取输入和输出名字cv::Mat转张量前向推理分割后处理目标检测后处理docker环境打包参考YOLOP简介华中科大在最近开源了全景感知模型YOLOP，在YOLOv4的基础上做了改进，与YOLOv4相同的是都采用了CSP、SPP等模块，不同的是，YOLOP在Detect检

点PY·2022-12-21 11:35

PyTorch模型转TensorRT

文章目录转换步骤概览环境参数PyTorch转ONNXONNX转TensorRT转换步骤概览准备好模型定义文件（.py文件）准备好训练完成的权重文件（.pth或.pth.tar）安装onnx和onnxruntime

森尼嫩豆腐·2022-12-21 08:39

yolov5分割笔记

目录yolov5segmentationpython版：yolov5-seg-opencv-onnxruntime-cppyolov5分割ncnn有模型：yolov5segmentationpython

AI视觉网奇·2022-12-21 07:16

ONNX牵手华为昇腾！开发者可在昇腾上跑原生模型：已支持ONNX算子16个，全量支持ResNet和VGG模型...

还记得今年9月，ONNXRuntime项目（ONNX社区流水线核心组件）正式提供对华为昇腾硬件平台的支持，成为ONNXRuntime支持的首个面向端、边、云全场景的国产推理训练AI硬件平台后端。

QbitAl·2022-12-20 17:24

推荐频道

ONNXRuntime