tensorrt

pip install pycuda后import tensorrt 报错ModuleNotFoundError: No module named ‘tensorrt‘

参考https://stackoverflow.com/questions/55557912/importerror-no-module-named-tensorrt#fromTensorRTTarPackage
lucky-xxyyxx·2023-04-07 07:35

pytorch模型转换为torch2trt模型

安装TensorRT安装torch2trt转换模型torch转torch2trt减少显存占用，建议在模型转换完成后，将模型保存，使用时直接加载转换后的模型。
White Jiang·2023-04-06 21:02

MMClassificatio 框架下 Pytorch模型转TensorRT

模型的加载importtorchvision.modelsasmodelsresnet34=models.resnet34()resnet34.load_state_dict(torch.load('latest.pth')['model'])要解决的疑问load_state_dicttorch.load作用网络结构有了这部分是在加载参数dummyinput作用给网络一个输入如果dynamic_a
奥特慢走·2023-04-06 21:32

yolov5模型转TensorRT踩坑记录

按照https://codechina.csdn.net/mirrors/enazoe/yolo-tensorrt?
stupid_miao·2023-04-06 21:25

pytorchx和tensorrtx编译tensorrt模型的一些bug问题

1、fatalerror:NvInfer.h:NosuchfileordirectoryNvInfer.h是TensorRT库中的一个头文件。
code_pgf·2023-04-06 20:22

deepstream框架下多路源模型部署参考步骤

目录1.dynamiconnx的生成2.tensorRTengine模型的生成3.配置文件的参数指定在deepstream框架下，想测试SCRFD模型的多路分布式运行，当修改配置文件中相应的batch参数后
Rachel2015·2023-04-06 20:16

Pytorch模型转TensorRT步骤

Pytorch模型转TensorRT步骤yolov5转TRT流程当前项目基于yolov5-6.0版本，如果使用其他版本代码请参考https://github.com/wang-xinyu/tensorrtx
麻花地·2023-04-06 20:43

Nvidia Jetson Nano Developer KIT配置全过程（五）：Pycuda及TensorRT安装配置

十、安装pycuda1、下载pycuda下载地址：https://pypi.org/project/pycuda/2021.1/#files2、安装pychuda解压缩pycuda-2021.1.tar.gz，然后进入pycuda-2021.1目录，执行安装命令。tarzxvfpycuda-2021.1.tar.gzcdpycuda-2021.1/python3configure.py--cuda
神经兵615·2023-04-06 17:10

Jetson Nano 部署(4) : Tensorrt Nano硬件搭建

Nano硬件搭建Nano主板介绍上图是Nano的主板，对应各个位置的说明如下：①用于主存储器的microSD卡插槽②40针扩展接头③用于5V电源输入或设备模式的Micro-USB接口④千兆以太网接口⑤USB3.0插槽，有4个⑥HDMI输出端口，如果加一个HDMI转VGA连接线的话，就可以连接VGA的显示器⑦DisplayPort接口⑧用于5V电源输入的直流桶式插座⑨MIPICSI-2摄像头接口，如
@BangBang·2023-04-06 17:31

【jetson nano】jetson nano环境配置+yolov5部署+tensorRT加速模型

目录jetsonnano环境配置+yolov5部署+tensorRT加速模型致谢主机和jetsonnano环境jetson系统开机烧录、系统设置、换源python环境配置conda环境yolov5环境matplotlib
路曦·2023-04-06 17:30

CUDA编程实战：初入江湖

因为在很多地方会需要，比如编写pytorch自定义层，编写TensorRT的plugin的时候，都会用到cuda编程。但其实这门技术入门比较难。
小肉包老师·2023-04-06 15:55

新的Ubuntu服务器上如何安装深度学习环境的docker

镜像包是nvidia_cu11_tf15.tar，里面包含：tensorflow        1.15.2+nvtensorflow-estimator   1.15.1tensorrt         
往事如yan·2023-04-06 05:18

yolov5部署

https://www.rs-online.com/designspark/nvidia-cudagpujetson-nano-tensorrt-2-cnhttps://github.com/wang-xinyu
linda.serious·2023-04-06 01:40

Yolov5 C++ GPU部署方式介绍：ONNX Runtime

1.ONNX和Tensorrt区别ONNXRuntime是将ONNX模型部署到生产环境的跨平台高性能运行引擎，主要对模型图应用了大量的图优化，然后基于可用的特定于硬件的加速器将其划分为子图（并行处理）。
AI&CV·2023-04-05 10:14

cuDNN与TensorRT：【作业】第一章

作业1.1流水线前传机制流水线前传机制（PipelineForwarding）指的是操作数转发（OperandForwarding）（或数据转发（DataForwarding）），是CPU中的一种优化机制，以限制由于流水线失速（PipelineStall）而发生的性能缺陷。PipelineStall指的是当前操作，必须等待尚未完成的较早操作的结果，才能进行。例子：如果下列两条汇编指令在Pipeli
DEDSEC_Roger·2023-04-04 02:07

tensorrt 分割_TensorRT 5 开发者手册 中文版 使用深度学习框架（三-6）

NVIDIATensorRT是一种高性能神经网络推理(Inference)引擎，用于在生产环境中部署深度学习应用程序，应用有图像分类、分割和目标检测等，可提供最大的推理吞吐量和效率。
weixin_39571219·2023-04-03 01:37

tensorRT5.15 使用中的注意点

1、安装，建议使用tar的形式，避免遇到一些依赖库找不到的问题。2、Python图片预处理多进程不及多线程。多进程CPU占用低，主要是预处理的时间过少，Python进程分发任务开销对于我们的ms级应用不可忽视。对比为batch=8，进程、线程为8，时间均为8张时间，循环1000次测试。多线程，平均为8.5ms(每千次次变动7.5-9.5S，近乎100%占用)；多进程，平均为19ms（15-21ms
TigerZ*·2023-04-03 01:32

TensorRT综述

TensorRT综述TensorRT综述概述环境搭建(基于docker环境)ONNX转TensorRTTensorRT推理加载EfficientNetTensorRT模型分配GPU、将输入数据复制到GPU
江小皮不皮·2023-04-03 00:10

MMDeploy学习笔记（一）：模型部署基础知识

MMDeploy学习笔记（一）：模型部署基础知识概述ONNX模型模型部署案例-分类模型ResNetPytorch模型转ONNX模型使用ONNXRuntime对ONNX模型进行推理使用TensorRT对ONNX
cv-player·2023-04-03 00:24

实现TensorRT-7.0插件自由！(如果不踩坑使用TensorRT插件功能)

本系列为新TensorRT的第一篇，为什么叫新，因为之前已经写了两篇关于TensorRT的文章，是关于TensorRT-5.0版本的。
OLDPAN·2023-04-02 20:01

TensorRT8 使用手记（1）模型测试 Conv+BN+Relu 结构融合

Conv+BN+Relu结构在主流卷积神经网络模型中Conv+BN+Relu是一种常见的模型结构。在模型推理和训练中，BN层往往与其他层合并，以减少计算量。模型解析node_of_325[TRT]Parsingnode:node_of_325[Conv][TRT]Searchingforinput:324[TRT]Searchingforinput:layer1.0.conv1.weight[TR
NoNNus·2023-04-02 09:56

TensorRT系列教程-ONNX基础

TensorRT系列教程-ONNX基础文章目录TensorRT系列教程-ONNX基础概述一、TensorRT模型二、TensorRTC++接口模型构建1.示例备注：2.TensorRTC++基本接口模型推理备注
武魂殿001·2023-04-02 02:13

【玩转Jetson TX2 NX】（九）TX2 NX 安装onnx-tensorrt工具（详细教程+错误解决）

1onnx-tensorrt工具安装onnx-tensorrt工具可以实现将onnx文件转到trt文件，首先通过如下命令安装该工具gitclone--recurse-submoduleshttps://
鲁棒最小二乘支持向量机·2023-04-02 01:09

Deep Learning-4-Caffe、TensorFlow、MXnet三个开源库对比+主流分类模型对比

Yolov-1-TX2上用YOLOv3训练自己数据集的流程(VOC2007-TX2-GPU)Yolov--3--TensorRT中yolov3性能优化加速（基于caffe）yolov-5-目标检测：YOLOv2
明宇朗心·2023-04-02 01:02

第一个TensorRT程序，写一个多层感知机

TensorRTbuildengine的流程创建builder:创建网络定义builder-->network配置参数:builder-->config生成engine:builder-->engine
智障学AI·2023-04-02 01:54

Yolov5 动态链接库DLL导出（tensorrt版本——C++调用）

延续前两篇yolov5+tensorrt环境部署和C++测试yolov5检测结果文章内容，这里将yolov5源码封装成动态链接库的方式供其他平台调用，这里参考该博主的文档。
工控90·2023-04-01 12:47

Yolov5+TensorRT-生成dll-python/c++调用dll

YOlov5-6.0+TensorRT+dll+python/c++调用简介1.项目环境2.TensorRT验证1.在tensorrtx-yolov5-v6.0\yolov5目录下新建build目录2.
我是一块小鸭子·2023-04-01 11:27

TensorRT与TVM性能比较（Resnet50）

如果采用GPU硬件平台，一般会使用TensorRT方式部署，因为TensorRT能够充分发挥GPU平台的性能，同时也做了很多的优化（算子融合，量化等），所以在性能上有比较大的优势。
crazyhank·2023-04-01 10:13

tensorRT介绍

1-什么是算力TOPS是TeraOperationsPerSecond的缩写1TOPS代表处理器每秒钟可进行一万亿次（10^12）操作GOPS（GigaOperationsPerSecond：1GOPS代表处理器每秒钟可进行十亿次（10^9）操作MOPS（MillionOperationPerSecond）：1MOPS代表处理器每秒钟可进行一百万次（10^6）操作一个MFLOPS（megaFLOP
xuefeng_apple·2023-04-01 03:18

TensorRT量化第二课：对称量化与非对称量化

目录模型量化原理注意事项一、2023/3/30更新前言1.引出问题1.1问题1.2代码实现1.2.1初始化输入数组1.2.2Scale计算1.2.3量化截断1.2.4反量化1.2.5完整代码2.非对称量化2.1动态范围量化2.2代码实现2.3原理分析2.3.1动态量化范围2.3.2偏移量Z2.3.3图例分析3.对称量化3.1相关知识3.2代码实现3.3思考4.对称量化vs.非对称量化总结模型量化原
爱听歌的周童鞋·2023-03-31 16:34

glog中的CHECK和cuda中的CHECK冲突

一、问题描述项目中用到TensorRT进行模型的推理同时项目中用到了glog作为日志管理的工具。TensorRT中用到了显存开辟函数cudaMalloc等函数，因此加了CHECK函数校验是否开辟成功。
RunningJiang·2023-03-31 12:13

【TensorRT算法部署】精简CUDA - DriverAPI概述

一、简介1、CUDADriver是与GPU沟通的驱动级别底层API2.对DriverAPI的理解，有利于理解后续的RuntimeAPI3.CUDADriver随显卡驱动发布，与cudatoolkit分开看4.CUDADriver对应于cuda.h和libcuda.so文件5.主要知识点是Context的管理机制，以及CUDA系列接口的开发习惯（错误检查方法），还有内存模型二、context1、手动
Ponnyao·2023-03-31 11:59

superglue、superpoint C++ TensorRT

motivation（动机）很早以前自从看了superglue、superpoint算法后，一直想把它们利用TensorRT进行加速实现一遍，由于平常太忙一直没有去做这个事情，不过利用周末的时间，终于把代码堆完了
broad-sky·2023-03-31 09:05

2023-03-21如何对优化（已改变网络结构）的YOLO模型进行tensorrt模型转换？

提示：之前写过一篇如何将自己训练的yolo模型转化为tensorrt相关的模型，该yolo模型采用的是原始的网络结构，没有做任何改变，所以相关的转换过程只需要按部就班就行，改一些固定参数就行，详情可参考链接
LJhaha·2023-03-30 18:12

TensorRT7.0学习:由于找不到cudnn64_7.dll （win+vs2017+CUDA10.2）

正在安装TensorRT,配好了库，但出了这么一个报错，如题目中。我想运行附带的手写数字分类例程这个错误，我找了很久，也没发现相关的资料。起初以为是路径include的少了，但后来发现，并非如此。
拓扑凝聚态·2023-03-30 05:38

paddlepaddle serving部署提示 libncurses.so.6: cannot open shared object file: No such file or directory

errorwhileloadingsharedlibraries:libncurses.so.6:cannotopensharedobjectfile:Nosuchfileordirectory出现以上错误需安装TensorRThttps
程有理·2023-03-30 03:07

TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！

前言大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。
OLDPAN·2023-03-29 18:44

Yolov5-6.0官方源代码骨干解析，并使用TensorRT加速推理，最后封装成API

这里写目录标题YOLOV5模型源码的详细解析，先从模型结构开始，再到数据的预处理阶段，然后模型推理阶段Detect，最后使用TensorRT部署加速，基于Flask封装成api方便调用。
鲲到底有多大·2023-03-29 14:37

paddleocr-tensorrt加速-Serving部署

代码准备下载2.0版本以上的paddleocr：paddleocr2.0以上的在训练自己模型的时候有参数：load_static_weights:True#是否将预训练模型保存在静态图形模式所以，只要安装好了tensorrt
欧菲斯集团·2023-03-29 08:21

yolov7—tensorrt报错AttributeError: ‘NoneType‘ object has no attribute ‘execute_v2‘已解决。

这个bug我整了好久，不管怎么搜索资料就是解决不了，还好我脑袋突然灵光一闪，想到我自己使用的是cuda10.2版本的，而cuda10.2版本是有两个额外的修复包，我去下载并安装完后，再把tensorrt
爱笑的男孩。·2023-03-29 07:53

研究团队用TensorRT将实时对象检测性能提高6倍

文章来源：ATYUNAI平台SKTelecom的研究人员开发了一种新方法，用NVIDIATensorRT高性能深度学习推理引擎使基于深度学习的对象检测加速。
whale52hertz·2023-03-29 05:56

Linux centos7 安装TensorRT

注意：a、主要两个文件：TensorRT、pycuda包文件。b、tensorRT需要到官网下载后解压到固定的系统文件夹下即可。pycuda则是直接使用pip安装即可。
我是胡歌·2023-03-29 04:06

【TensorRT】基于C#调用TensorRT 部署Yolov5模型 - 下篇：部署Yolov5模型

基于C#调用TensorRT部署Yolov5模型3.1新建C#项目3.2添加OpenCVsharp3.3添加项目引用3.4TensorRT部署Yolov5模型1.引入模型相关信息2.初始化推理核心类3.
椒颜皮皮虾྅·2023-03-29 02:45

GPU推理服务性能优化之路 ｜ 得物技术

最终通过两项关键的技术:1.Python的GPU与CPU进程分离，2.使用TensorRT对模型进行加速，使得线上大部分模型服务QPS提升5-10倍左右，大量节约了线上GPU推理服务的成本。
得物技术·2023-03-26 09:51

Jetson Nano配置YOLOv5并实现FPS=25

镜像下载、域名解析、时间同步请点击阿里云开源镜像站一、版本说明JetPack4.6——2021.8yolov5-v6.0版本使用的为yolov5的yolov5n.pt，并利用tensorrtx进行加速推理
萌褚·2023-03-26 06:31

pytorch搭建手写数字识别LeNet-5网络，并用tensorRT部署

pytorch搭建手写数字识别LeNet-5网络，并用tensorRT部署前言1、pytorch搭建LeNet-5，并转为ONNX格式1.1LeNet-5网络介绍1.2ONNX(OpenNeuralNetworkExchange
小广向前进·2023-03-25 12:18

轻量主干新SOTA！GhostNetV2：长距离注意力机制增强（北大&诺亚）

作者|科技猛兽编辑|极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码
自动驾驶之心·2023-03-25 07:08

pytorch经onnx转tensorrt初体验（上）

pytorch转成tensorrt时需要利用中间件onnx，所以第一步需要将pytorch模型转成onnx格式。onnx其实相当于以通用格式保存网络的计算图。
熙熙江湖·2023-03-23 20:22

GTC CHINA 2019 | 黄仁勋发表主题演讲，多项创新技术与合作全面助力 AI 加速落地

TensorRT
CSDN云计算·2023-03-23 07:35

[C#][原创]使用C#部署yolov7的tensorrt模型

要说C#当前做深度学习能力很弱，但是源于对C++非常友好的接口，使得C#做界面，C++做算法非常适合，因此你问我目前在C#方面最好的深度学习部署方式是什么？我只能说是调用C++接口，目前github或者其他开源网站都有各种C#版本的深度学习部署库，比如yolov5-net,yolov7-net但是这些库的速度都是非常感人的，他们大多数是通过onnx作为推理对象，这得益于微软的Onnxrumtime
未来自主研究中心·2023-03-23 02:03
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他