tensorRt 第10页

＜TensorRT＞下载及部署

TensorRT-下载及部署1、下载前相关查询查看显卡驱动版本：nvidia-smi查看cuda版本：nvcc-Vcuda与显卡驱动对应表：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes

thisiszdy·2023-08-29 08:24

YOLOv5全面解析教程⑧：将训练好的YOLOv5权重导为其它框架格式

欢迎大家到这里查看本篇文章的完整版本：https://start.oneflow.org/oneflow-yolo-doc/tutorials/06_chapter/export_onnx_tflite_tensorrt.html2

OneFlow深度学习框架·2023-08-28 09:19

8.6.tensorRT高级(3)封装系列-终极封装形态，以及考虑的问题

目录前言1.终极封装总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-28 06:39

8.7.tensorRT高级(3)封装系列-调试方法、思想讨论

目录前言1.模型调试技巧总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-28 06:39

有了它你还不会扣图么？

你也是扣图小能手VX搜索晓理紫，回复fastsamremove获取源码[晓理紫]1用图说话2核心代码在onnx部署，trt部署，yolov8+fastsam分别介绍了FastSAM通过OnnxRuntime，TensorRT

晓理紫·2023-08-28 03:44

分割一切模型FastSAM，点哪里分割哪里

分割一切模型FastSAM点哪里分割哪里VX搜索《晓理紫》，关注并回复fastsampoint获取核心源码[晓理紫]1效果2核心代码在FastSAMONNXRuntime部署，FastSAMTensorRT

晓理紫·2023-08-28 03:44

从嵌入式AI开发工程师招聘看高校人才培养

近期看到了一则嵌入式AI开发工程师的招聘信息，主要内容如下：嵌入式AI开发工程师职位详情（关键词）cC++ARM开发计算机相关专业通信相关专业嵌入式/单片机开发经验tensorrtrknnascendcl

人工智能教学实践·2023-08-27 07:33

[C++][C#]yolox TensorRT C++ C#部署

YOLOX是一种新型的高性能探测器，由开发者ZhengGe、SongtaoLiu、FengWang、ZemingLi和JianSun在《YOLOX:ExceedingYOLOSeriesin2021》首次提出。与YOLOV5和YOLOV8相比，YOLOX具有更高的性能和更好的平衡，在速度和精度方面都表现出优越性。YOLOX的优点：解耦头部设计：与YOLOV5和YOLOV8相比，YOLOX采用了更先

FL1623863129·2023-08-26 15:00

TensorRT推理手写数字分类（三）

系列文章目录（一）使用pytorch搭建模型并训练（二）将pth格式转为onnx格式（三）onxx格式转为engine序列化文件并进行推理文章目录系列文章目录前言一、TensorRT是什么？

做个爱笑的大男孩·2023-08-25 14:49

TensorRT - 自带工具trtexec的参数使用说明

本文以TensorRT-7.2.3.4说明自带工具trtexec工具的使用参数进行说明。

HW140701·2023-08-25 14:49

8.2.tensorRT高级(3)封装系列-内存管理的封装，内存的复用

目录前言1.内存管理封装2.补充知识总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-25 08:03

tensorRT安装

官方指导文档：InstallationGuide::NVIDIADeepLearningTensorRTDocumentation适配很重要！！！！需要cuda,cuDNN,tensorRT三者匹配。

Little__Black·2023-08-25 07:32

Jetson nano部署Yolov5目标检测 + Tensor RT加速（超级详细版）

一、准备工具二、烧录三、搭配环境四、试跑Yolov5五、tensorRT部署yolov5前言：在工作或学习中我们需要进行部署，下面这篇文章是我亲自部署jetsonnano之后做出的总结，包括自己遇到一些报错和踩坑

戈唯伽c·2023-08-24 14:03

3.1 PTQ与QAT的介绍

1.前言TensorRT有两种量化模式，分别是implicitly量化(隐式量化)以及explicitly量化(显性量化)。

Good@dz·2023-08-24 10:43

2.3 TensorRT基于Entropy的校准

tensorRT的EntropyCalibration的伪代码，具体流程如下：for循环：遍历所有可能的分割点，从128到2048reference_distribution_P：将原始直方图bins按照当前分割点

Good@dz·2023-08-24 10:13

yolov8模型转onnx模型和 tensorRT 模型

转onnx模型在安装好pipinstallonnxruntime-gpupipinstallonnxonnxconverter-common出现Nomodulenamed'cpuinfo'错误，通过安装：pipinstallpy-cpuinfo解决该问题。importsys#即ultralytics文件夹所在绝对路径sys.path.append(r"E:\JupyterNotebook\_02y

往事如yan·2023-08-24 04:58

OnnxRuntime部署SwinTransformer

测试了下基于OnnxRuntimecpu模式和gpu（非TensorRT）模式下的速度。对于大部分图片识别类任务，这个速度也是可以接受的。模式硬件输入平均速度cpuIntel(R)Xeon(R)W

RunningJiang·2023-08-24 04:31

BUGFix：onnx -＞ TensorRT转换过程失败

onnx_path):logger=trt.Logger(trt.Logger.ERROR)builder=trt.Builder(logger)network=builder.create_network(1tensorrt.tensorrt.ICudaEngineInvokedwith

SimpleLearingAI·2023-08-23 21:18

pointnet C++推理部署--tensorrt框架

classification如上图所示，由于直接export出的onnx文件有两个输出节点，不方便处理，所以编写脚本删除不需要的输出节点193：importonnxonnx_model=onnx.load("cls.onnx")graph=onnx_model.graphinputs=graph.inputforinputininputs:print('input',input.name)outp

给算法爸爸上香·2023-08-23 14:56

[ubuntu][tenosrrt]ubuntu上tensorrt环境变量配置

vi~/.bashrcexportTR_PATH=yourpathexportPATH=$PATH:$TR_PATH/binexportCPLUS_INCLUDE_PATH=$CPLUS_INCLUDE_PATH:$TR_PATH/includeexportLD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TR_PATH/libexportLD_LIBRARY_PATH=$LD_

FL1623863129·2023-08-22 22:18

TensorRT 开始

TensorRT是NVIDIA自家的高性能推理库，其GettingStarted列出了各资料入口，如下：image本文基于当前的TensorRT8.2版本，将一步步介绍从安装，直到加速推理自己的ONNX

GoCodingInMyWay·2023-08-22 17:17

TensorRT【推理Error】---expecting compute 6.1 got compute 7.5, please rebuild

Theengineplanfileisgeneratedonanincompatibledevice,expectingcompute6.1gotcompute7.5,pleaserebuild.二、错误分析错误产生的原因：将本地生成的TensorRT

Jankin_Tian·2023-08-21 22:12

8.5.tensorRT高级(3)封装系列-基于生产者消费者实现的yolov5封装

目录前言1.yolov5封装总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-21 07:59

8.3.tensorRT高级(3)封装系列-tensor封装，索引计算，内存标记及自动复制

目录前言1.Tensor封装总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-21 07:58

8.4.tensorRT高级(3)封装系列-infer推理封装，输入输出tensor的关联

目录前言1.infer封装总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-21 07:58

C 常數0L，0LL，0UL，0.0f，0.0L

中各種不同型別的常數0，以不同的後綴表示：0//int0L//long0LL//longlong0UL//unsignedlong0.0//double0.0f//float0.0L//longdouble在TensorRT

keineahnung2345·2023-08-21 06:05

Python将网络文件下载到本地

Python日常小操作专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看基于DETR的人脸伪装检测YOLOv7训练自己的数据集（口罩检测）YOLOv8训练自己的数据集（足球检测）YOLOv5：TensorRT

FriendshipT·2023-08-20 09:15

onnx模型转engine并进行推理全过程解析

本文以模型转为ONNX为起点，分析介绍ONNX转为TensorRTEngine并进行推理的整个流程链路。

AI小花猫·2023-08-20 08:51

清除python TensorRT build之后常驻的显存

业务需要，需要TensorRT模型转换的进程常驻，使用中发现每次build后会占据一个显存缓存，del也无法清除，后来找到了：python-HowtorunTensorRTinmultiplethreads

qizhen816·2023-08-19 23:12

【边缘端环境配置】英伟达Jetson系列安装pytorch/tensorflow/ml/tensorrt环境（docker一键拉取）

【边缘端环境配置】英伟达Jetson系列安装pytorch/tensorflow/ml/tensorrt环境（docker一键拉取）0.JetPack1.安装输入法2.安装docker和nvidia-docker3

Zhijun.li@Studio·2023-08-19 11:48

jetpack5.0.2 已经安装了 cudnn 和 tensorrt

在平台jetsonXavierNX中想使用cudnn和tensorrt。

returningprodigal·2023-08-19 11:40

Jetson Nano 环境部署

JetsonNano所需要的的开发环境已经部署完了，人脸检测过程中使用到的包啊库啊也都装的差不多了；回顾一下都装了哪些以及如何安装的JetsonNano上配置各版本：JetPack：4.4【L4T32.4.3】tensorrt7.1.3.0

木目范·2023-08-18 09:24

记录TensorRT8.5.0安装

1.下载网址NVIDIATensorRT8.xDownload|NVIDIADeveloperTensorRT不同的版本依赖于不同的cuda版本和cudnn版本。

暧昧的呆呆猫·2023-08-17 11:59

ubuntu20安装tensorRT

大体来说安装的方法有两种：用run安装cuda,用wheel安装tensorrt，好处是可以自己选驱动的版本；（大多数人选择的的方法，也是本文介绍的方法）如果想安装tensorRT的deb版本，cuda

·2023-08-16 10:19

onnx 需要指定provider

ValueError:ThisORTbuildhas['TensorrtExecutionProvider','CUDAExecutionProvider','CPUExecutionProvider'

落花逐流水·2023-08-14 15:18

7.2.tensorRT高级(2)-学习深度学习中涉及的线程知识

目录前言1.多线程2.问答环节2.1线程启动相关问题2.2线程启动函数参数相关问题总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。

爱听歌的周童鞋·2023-08-14 07:54

8.1.tensorRT高级(3)封装系列-模型编译过程封装，简化模型编译代码

目录前言1.模型编译过程封装2.问答环节总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-13 23:43

7.3.tensorRT高级(2)-future、promise、condition_variable

目录前言1.生产者消费者模式2.问答环节总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-13 23:13

7.4.tensorRT高级(2)-使用RAII接口模式对代码进行有效封装

目录前言1.RAII接口模式2.问答环节总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-13 23:13

7.5.tensorRT高级(2)-RAII接口模式下的生产者消费者多batch实现

目录前言1.RAII接口模式封装生产者消费者2.问答环节总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。

爱听歌的周童鞋·2023-08-13 23:41

TensorRT的环境搭建及使用

本文主要简要介绍TensorRT的环境搭建及如何使用。环境安装我这里使用的是TensorRT-5.1.5.0版本，其他版本可能会有一些出入。

SHY_VWind·2023-08-13 19:43

tensorRT_Pro 项目实践

参考：https://github.com/shouxieai/tensorRT_Pro/blob/main/tutorial/README.zh-cn.md前提：https://www.cnblogs.com

理心炼丹·2023-08-12 18:42

Tensorrt导出engine文件加密（Windows&C++版）

扯皮的话：为了优化模型的inference，TensorRT会根据网络的定义执行优化包括特定平台的优化并生成inferenceengine。

@会飞的毛毛虫·2023-08-12 15:46

ubuntu20.04 安装 cuda11.8 + cuDNN v8.9.0 (July 11th, 2023), for CUDA 11.x + TensorRT-8.6.1

根据文档：https://docs.nvidia.com/deeplearning/tensorrt/archives/tensorrt-861/install-guide/index.htmlTensorRT8.6.1

理心炼丹·2023-08-12 08:16

利用RepVGG训练一个cifar-10数据

推理步骤：4.2权重转换的步骤5.导出onnx5.1模型转换前的onnx5.2权重转换后的onnx对比6.转换前后的推理时间对比7.repvgg量化(posttrainingquantization)8tensorrt

是大糊涂不聪明·2023-08-12 08:58

tensorflow-gpu cuda cudNN tensorRT 安装

tensorflow-gpucudacudNNtensorRT安装tensorflow-gpu版本对应关系tensorflow-gpu版本对应关系https://tensorflow.google.cn

码狂☆·2023-08-11 17:47

pytorch经onnx转tensorrt初体验(下)

在上一篇中学习了pytorch模型如何转为onnx模型，TensorRT推理的一般过程，以及python接口下onnx采用TensorRT推理的示例。

熙熙江湖·2023-08-11 16:37

TensorRT的安装：一步一步教会你如何安装TensorRT

TensorRT的安装：一步一步教会你如何安装TensorRTTensorRT的安装：一步一步教会你如何安装TensorRT题外话：CUDA和CUDNN的安装：一：安装显卡驱动二：安装CUDA三：安装CUDNN

prince_zxill·2023-08-11 09:52

【TensorRT】TensorRT 部署Yolov5模型（C++）

TensorRT部署Yolov5模型C++源码地址：1.TensorRT部署模型基本步骤1.1onnx模型转engine1.2读取本地模型1.3创建推理引擎1.4创建推理上下文1.5创建GPU显存缓冲区

椒颜皮皮虾྅·2023-08-10 23:26

TRT4-trt-integrate - 4 TRT的封装

前言：对tensorRT的封装，更像是对推理引擎的封装封装的意义在于对技术的标准化、工具化，能够是的使用时更加便利，效率更高，定制更多的默认行为封装推理引擎的思想，还可以应用到更多其他地方。

库达ZT·2023-08-10 14:24

推荐频道

tensorRt

＜TensorRT＞ 下载及部署