Tensorrt

TensorRT学习常用网址汇总(持续更新)

一、官方网址网址名称简介tensorrt-support-matrixTensorRT支持的硬件和应用详情TensorRT中文教程中文教程，部分翻译TensorRT官方中文文档官方中文文档，注意版本号NVIDIA-AI-IOT
mathlxj·2023-02-04 07:04

Tensor RT官方安装手册

https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-zipTensorRT官方安装手册
我为什么这么菜.·2023-02-04 07:04

TensorRT 入门(5) TensorRT官方文档浏览

https://blog.csdn.net/irving512/article/details/114019280
辣大辣条·2023-02-04 07:04

【tensorrt】——No module named ‘onnx_graphsurgeon‘

去下载的tensorrtoss目录下，比如：TensorRT-7.2.2.3/onnx_graphsurgeon，然后执行pipinstall.
农夫山泉2号·2023-02-03 22:48

Win10环境下yolov8快速配置与测试

（如果想在tensorrt+cuda下部署yolov8，直接看第五5章）yolov8官方仓库:https://github.com/ultralytics/ultralytics一、win10下创建yolov8
FeiYull_·2023-02-03 18:39

TensorRT 编译plugin

目录python版添加plugin：TensorRT添加pluginso例子TensorRT自带的pluginonnx转trt加载plugin动态库：python版添加plugin：【使用TensorRT
AI视觉网奇·2023-02-03 17:55

ubuntu18.04+TensorRT 配置攻略

很多大佬都说TensorRT的推理效果更好，自己也想试一下。历尽千辛万苦，终于弄好了～～～供大家参考。准备确认CUDA安装正确，可使用如下命令：>nvcc--versio
有事没事扯扯淡·2023-02-03 16:50

【基于YOLOV5模型的tensorrt部署】

基于YOLOV5模型的tensorrt部署应用案例：loge&二维码检测yolov5模型训练参考yolov5yolov5模型转换tensorrt模型方法参考tensorrtx步骤如下：步骤一：将tensorrtx
weixin_40744387·2023-02-03 14:08

量化部署 | ViT应该如何进行PTQ量化？这个方法可以参考！

作者|xxx编辑|汽车人原文链接：xxxxx点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT
自动驾驶之心·2023-02-03 14:27

fasterrcnn rpn roialign tensorrt部署实践

目录环境安装：pycuda安装：开源项目信息fasterRCNN的训练fasterrcnnonnx实践第3步测试结果：第4步测试结果：单张图片测试代码：多张图片预测代码：第5步做了修改：第7步测试：第8步测试测试报错Theinputtensorcannotbereshapedtotherequestedshape：正确类别数量设置:测试正确结果：onnx转trt操作c++转换trt：Onnx转tr
AI视觉网奇·2023-02-03 10:33

TensorRT部署总结

文章目录1、什么是TensorRT2、流程3、推荐方案3.1视频作者的方案3.2方案优缺点3.3方案具体过程4、如何正确导出ONNX，并在C++中推理4.1指定维度时不加int与加int4.1.1指定维度时不加
全息数据·2023-02-03 10:33

onnx2tensorrt部署总结，按这个步骤，cmake不报错

onnx2tensorrt1.installtensorrt2.installonnx2tensorrterror:otherreference:https://blog.csdn.net/shanglianlm
Lebranium_T·2023-02-03 10:33

【个人记录】torch转onnx对上TensorRT的grid_sample接口（4D/5D）进行加速

背景双目里比较优秀的很多模型都有用到torch的grid_sample，但是其在TensorRT中没有接口。虽说4D的有替代方案，但是还是有性能损失。
无情的AI鸽子·2023-02-03 10:02

【python】tensorrt8版本下的onnx转tensorrt engine

但是网上搜索的onnx2tensorrt代码基本上是7代之前的，
无情的AI鸽子·2023-02-03 10:32

onnx转TensorRT使用的三种方式（最终在Python运行）

背景记录下onnx转成TensorRT加速的三种方式1.直接使用onnxruntime在onnxruntime的session初始化的时候第一个provider加入TensorrtExecutionProvider
无情的AI鸽子·2023-02-03 10:32

Python环境下将ONNX模型转为fp16 半精度浮点方式

背景在TX2上和NX上跑自己想要的模型还是有点慢，由于Jetpack4.6.2的TensorRT8.2对于有16G内存的NX支持存在问题运行不了（8G内存没有问题），可以运行的TensorRT7不支持我这边模型用到的
无情的AI鸽子·2023-02-03 10:01

【JetPack5.0.1特供版】Jetson NX刷机记录（详细）

背景JetPack4.6.2里面的TensorRT不支持16G版本的NX，就很烦，看nvidia官网有人员回复说可以试试JetPack5.0.1，那我就试试呗，试试就逝世。
无情的AI鸽子·2023-02-03 10:01

【cmake】——find_path/find_library用法例子

例子#在HINTS后的路径中找NvInfer.h,PATH_SUFFIXES：在每个搜索路径的子目录下搜索find_path(TENSORRT_INCLUDE_DIRNvInfer.hHINTS${TENSORRT_ROOT
农夫山泉2号·2023-02-03 09:29

jetson nano(jetpack4.6)跑通jetson-inference(Hello AI World)

本文章作为笔记所用环境：jetsonnano4GB,jetpack4.6,L4T32.6.1,TensorRT8.0.1,cuDNN8.2.1,CUDA10.2,OpenCV4.1.1按照官方文档的步骤安装
anbai_keeplearning·2023-02-03 09:12

使用 NVIDIA CUDA-Pointpillars 检测点云中的对象

使用NVIDIACUDA-Pointpillars检测点云中的对象文章目录使用NVIDIACUDA-Pointpillars检测点云中的对象什么是CUDA-Pointpillars基础预处理预处理TensorRT
扫地的小何尚·2023-02-03 02:34

PointPillars-＞ONNX-＞TensorRT加速学习记录

PointPillars->ONNX->TensorRT加速学习记录【模型加速】PointPillars模型TensorRT加速实验(1)【模型加速】PointPillars模型TensorRT加速实验
Kadima°·2023-02-03 02:34

【模型加速】CUDA-Pointpillars项目解读(2)

用于TensorRT的ONNX模型接上篇【模型加速】CUDA-Pointpillars项目解读(1)，预处理之后输出pillarpointsbev特征图以及pillarcoords。
昌山小屋·2023-02-03 02:02

【模型加速】CUDA-Pointpillars项目解读(1)

在以往的模型部署操作中，我们习惯于将训练好的诸如Pytorch模型直接导出为onnx，再通过TensorRTAPI或者trtexe等工具将onnx序列化为TensorRT引擎文件。
昌山小屋·2023-02-03 02:31

C++使用tensorrt，实时从相机取图，相机延迟或模型推算延迟造成tensorrt崩溃

遇到一个折磨我三天的tensorrt的bug，使用的c++的tensorrt做模型推理预测。
小志_哥哥·2023-02-02 13:16

TensorRT python多进程推理踩坑

1、TensorRT多线程推理此时需要在每个线程内创建上下文，且在初始化ctx之后进行ctx.pop(),推理操作前，ctx.push(),运行结束前运行ctx.pop()classdetector()
Mist-S·2023-02-02 13:16

第一步：ubuntu18.04装TensorRT8.0.0.3 + onnx1.8.0 + onnx_tensorrt

一、环境说明Ubuntu18.04+cuda11.0+python3.7.6+pytorch171如果在本地配置环境时报权限不足的错误，在语句前加上sudo。如果是在docker镜像安装的话只能选择developer版的镜像，不能使用runtime版的，否则会报fatalerror:***.*:Nosuchfileordirectory错误。简单判断方法：看/usr/local/cuda/里有没有
枯木逢春犹再发·2023-02-02 13:16

ubuntu下TensorRT 7/8环境配置及安装

为了部署YOLOV5的模型，部署了两次TensorRT，每次都踩了不少坑，决定把完整的过程及踩过的坑记录下来。一些需要提前强调的点：windows下不支持tensorrt的pythonAPI。
白羊007·2023-02-02 13:15

TensorRT实现EfficientDet推理加速（一）

一、参考资料EfficientDettensorrt二、相关环境1.系统环境EnvironmentOperatingSystem+Version:Ubuntu+16.04TensorRTVersion:
花花少年·2023-02-02 13:45

tensorrt8.0主要功能和增强功能梳理

tensorrt8.0.1.6版本新增功能操作系统：新增CentOS8.3、Ubuntu20.04支持；python版本：新增3.9支持；IResizeLayer：新增更多的调整大小模式；注释：TheimplementstheresizeoperationonaninputtensorBuilderLayerTimingCache
蓝色橘猫·2023-02-02 13:44

2022使用NVIDIA TensorRT 8.0加速深度学习推理(更新)

使用NVIDIATensorRT加速深度学习推理(更新)本文于2021年7月20日更新，以反映NVIDIATensorRT8.0的更新。
Vertira·2023-02-02 13:43

tensorrt采坑记录

grepCUDNN_MAJOR-A2显示我的cudnn版本为7.5.0版本在官网下载trt安装包:根据系统、cuda、cudnn下载，下载地址：https://developer.nvidia.cn/nvidia-tensorrt
CV-deeplearning·2023-02-02 13:43

tensorrt8.0记录

tensorrt8.0trtexec使用问题问题1:Staticmodeldoesnottakeexplicitshapessincetheshapeofinferencetensorswillbedeterminedbythemodelitself
蓝色橘猫·2023-02-02 13:42

关于部署过程中paddle、onnx、trt等模型转换（一）

文章目录前言1.paddle模型转化为inference模型2.inference模型转onnx3.onnx转tensorrt1.paddle模型转化为inference模型首先，将使用的后缀为.pdopt
羽客S·2023-02-02 09:32

自己训练的Resnet部署（python版本）

路线：xx.pth->xx.onnx->xx.trt实验版本：torch1.10.0；tensorrt7.2.3.4；onnx1.8.11.pth2onnx.py#将pytorch训练的模型xx.pth
理心炼丹·2023-02-02 07:13

【RK部署】RK3566部署PaddleOCRv2踩坑记录

由于之前在Nvidia的NX板上部署过TensorRT版的PaddleOCRv2，过程很顺利，以为部署到RK板也会很容易，没想到啊，前前后后搞了1周多，下面是我的踩过坑的记录。
EmeryLearning·2023-02-02 07:38

Ubuntu18.04+cuda10.1+cudnn7.6.3+tensorrt5.1.5.0（deb）

环境配置Ubuntu18.04+cuda10.1+cudnn7.6.3+tensorrt5.1.5.0Ubuntu18.04安装本系统配置背景1.cuda10.1安装2.驱动安装3.cudnn安装与验证
xtdx_xty·2023-02-01 11:40

利用TensorRT实现神经网络提速(读取ONNX模型并运行)

前言在我这里的实验结论表明，在FP32的精度下，使用TensorRT和不使用TensorRT在GPU上运行的速度比大概为3:1，也就是在我这个模型为前提条件下，TensorRT在GPU端使我的模型速度提升了
z649431508·2023-02-01 08:10

ubuntu tensorRT5.1.5.0 sample yolov3转onnx转trt，pytorch转onnx转trt推理

tensorRT5.1.5.0安装官网安装并解压：https://developer.nvidia.com/nvidia-tensorrt-5x-download添加环境变量：exportLD_LIBRARY_PATH
三寸光阴___·2023-02-01 08:29

【torchserve使用最终篇】修改handler文件来实现自己的推理流程|部署onnx模型|部署tensorrt模型

目录前言handler文件的构造说明类别继承关系initialize方法模块：模型的初始化load_model:模型加载模块preprocess：前处理过程inference：推理过程postprocess：后处理过程依赖文件打包方法步骤：其他问题前言在之前我们提到如何去配置torchserve，这使得我们对其有了初步的了解和认识：【torchserve安装和使用】torchserve部署方法|常
活成自己的样子啊·2023-02-01 08:56

pytorch模型(.pth)转tensorrt模型(.engine)的几种方式

深度学习系列文章文章目录深度学习系列文章前言一、trtexec二、torch2trt三、torch2trtdynamic四、parser解析onnx模型五、tensorrtx六、onnx-tensorrt
武魂殿001·2023-02-01 08:48

Jetson cuda build opencv

NVPowerMode:MODE_10W_2CORE-Type:3*jetson_stats.service:active-Libraries:*CUDA:10.2.89*cuDNN:8.0.0.180*TensorRT
xuefeng_apple·2023-02-01 07:04

PaddleOCR文字识别C#部署-升级V2

，生成`c#`调用`dll`4.FAQPaddleOCR文字识别C#部署-1版本后续升级，本次采用PaddleOCRrelease/2.5版本，支持GPU、CPU推理；1.版本对应表CudacuDNNTensorRTPaddleInferenceOpenCVVis
ch_ccc·2023-01-31 19:49

转换onnx_ONNX简化节点和修改教程

有时候需要把模型转成onnx，但是很多时候，很多节点比如cast节点，Identity这些节点可能都不需要，我们需要进行简化，这样会方便我们把模型转成ncnn或者mnn等这些端侧部署的模型格式或者通过tensorRT
高绛婷·2023-01-31 15:55

【windows版】TensorRT安装教程

一、参考资料TensorRT深度学习模型剪枝、量化和TensorRT推理深度学习模型PyTorch训练并转ONNX与TensorRT部署TensorRT(1)-介绍-使用-安装TensorRT模型量化技术
花花少年·2023-01-31 14:23

VS c++ error C2589:“(“:“::“ 右边的非法标记错误处理

在使用windowsVS2019使用tensorrt部署yolov5时，size.Width=std::max(size.Width,elementSize.Width);提示了errorC2589:“
wjjun_89·2023-01-31 10:07

TensorRT采坑api

文章目录TensorRT链接TensorRT工具对接TensorFlow采坑APInvinfer1::INetworkDefinitionaddInputaddReduceaddShuffledynamicreshape
CatkinLX·2023-01-31 10:28

SSD目标检测网络tensorRT推理【附代码】

终于更新了，本篇是实现了SSD的tensorrt推理【python版】。YOLOv4以及YOLOv5C++版的tensorrt推理可以看我之前的文章。
爱吃肉的鹏·2023-01-30 22:18

使用NVIDIA 免费工具TENSORRT 加速推理实践--YOLOV3目标检测

使用NVIDIA免费工具TENSORRT加速推理实践–YOLOV3目标检测tensorRT5.0之前主要支持计算机视觉类的模型，现在已经升级到TensorRT7.0，对语音、语义、自然语言处理等方向的模型也能提供很好的支持
行路南·2023-01-30 14:00

在Jetson等设备上为不同版本的Python打包安装TensorRT

Jetson的TensoRT是板载、对应固定的Python版本的，如果手动安装了不同版本的Python，很难手动安装对应版本的TensorRT。
vagrancy_-·2023-01-29 16:12

tensorrt ImportError: No module named ‘tensorrt‘

ModuleNotFoundError:Nomodulenamed'tensorrt'使用tensorrtpythonAPI时，importtensorrt会报错。
STU_11wxzou·2023-01-29 16:12
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他