TensorRt

已解决：python多线程使用TensorRT输出为零？附tensorrt推理代码

设备：cuda12.1,cudnn8.9.2,tensorrt8.6.11.问题tensorrt的推理没输出？？？
李卓璐·2025-03-20 18:11

Ubuntu20.04 RTX4060 AI环境搭建

下面记录在Ubuntu20.04环境下，使用ASUSATS-RTX4060-O8G-V2显卡，搭建NvidiaTensorRT开发环境。
stxinu·2025-03-19 05:03

CMake Error at myplugins_generated_yololayer.cu.o.Debug，tensorrtx编译失败解决

system:ubuntu1804gpu:3060cuda:cuda11.4tensorrt:8.4使用项目tensorrtx进行yolov5的engine生成，之前在编译成功的配置为system:ubuntu1804gpu
雪可问春风·2025-03-16 08:11

TensorRT-LLM保姆级教程-快速入门

本系列将针对TensorRT-LLM推理进行讲解。本文为该系列第一篇，将简要概述TensorRT-LLM的基本特性。另外，我撰写的大模型相关的博客及配套代码均整理放置在Github，有需要的朋友自
大模型八哥·2025-03-16 02:34

本地部署时，如何通过硬件加速（如 CUDA、TensorRT）提升 DeepSeek 的推理性能？不同显卡型号的兼容性如何测试？

本地部署DeepSeek模型的硬件加速优化与显卡兼容性测试指南一、硬件加速技术实现路径CUDA基础环境搭建版本匹配原则：根据显卡架构选择CUDA版本（如NVIDIARTX50系列需CUDA12+，V100需CUDA11.x），并通过nvcc--version验证安装。GPU加速验证：运行以下代码检查硬件加速状态：importtensorflowastfprint("可用GPU数量：",len(tf
百态老人·2025-03-13 14:43

人工智能 - TensorRT与DeepDP终极指南：释放GPU潜能的深度学习推理优化之道

TensorRTTensorRT（TensorRuntime）是英伟达（NVIDIA）推出的高性能深度学习推理（Inference）优化器和运行时库，专为在NVIDIAGPU上高效部署深度学习模型而设计
天机️灵韵·2025-03-13 13:36

onnx处理和TensorRT量化推理相关代码工具

一.说明    在模型量化过程中，经常要使用一些工具对onnx或者量化后的模型（这里以TensorRT为例）进行推理，往往需要一些处理工具，比如：拆分或者合并onnx；修改onnx中的量算子QuantizeLinear
天亮换季·2025-03-13 12:26

CUDA12.1 cudnn9.0.1 python3.10.12配置TensorRT8.6.1，完成yolov12tensorRT推理完整过程

一、配置TensorRT8.6.11.下载TensorRT8.6.1包TensorRT完全依赖CUDA，因此下载其版本时一定要考虑CUDA的版本。
李卓璐·2025-03-13 01:33

ONNX GraphSurgeon详细介绍

ONNXGraphSurgeon常用于TensorRT中，用来优化和调整ONNX模型，以便于模型可以高效地在GP
Lntano__y·2025-03-10 19:12

Jetson系列: tensorrt-python推理yolov5（一）

目录一.onnx模型导出二.TensorRT模型本地序列化三.算法整体Pipline架构四.算法整体Pipline实现一.onnx模型导出在使用tensorrt进行加速之前需要将自己的torch模型转为
weixin_55083979·2025-03-08 20:08

【深度学习模型高效部署】tensorRT_Pro深度解读：部署深度学习模型的高效方案

以下内容将对tensorRT_Pro项目做一个系统的介绍，包括其核心价值、主要功能、应用案例以及关键的示例代码（附详细解释），帮助你快速了解并上手如何基于TensorRT在NVIDIAGPU上实现高性能推理
云博士的AI课堂·2025-03-08 18:50

【yolov8】模型导出----pytorch导出为onnx模型

【yolov8】模型导出一、为什么要使用yolo的导出模式二、确保安装必要的库：三、yolov8模型导出3.1不同格式配置参数3.2导出格式四、导出模型性能优化4.1使用TensorRT导出模型有什么好处
栗子风暴·2025-03-07 09:12

C++使用Onnxruntime/TensorRT模型推理

onnxruntime和tensorrt是我们常用的两种推理方式，下面整理了两个推理示例，仅供参考。
奇华智能·2025-03-05 16:30

cap4：YoloV5的TensorRT部署指南（python版）

《TensorRT全流程部署指南》专栏文章目录：《TensorRT全流程部署指南》专栏主页cap1：TensorRT介绍及CUDA环境安装cap2：1000分类的ResNet的TensorRT部署指南（
我是一个对称矩阵·2025-02-24 21:14

PyTorch `.pth` 转 ONNX：从模型训练到跨平台部署

但当你想在不同的环境（如TensorRT、OpenVINO、ONNXRuntime）部署模型时，.pth可能并不适用。这时，ONNX（OpenNeuralNetworkExchange）就必不可少。
MO__YE·2025-02-18 23:46

PyTorch `.pth` 转 ONNX：从模型训练到跨平台部署

但当你想在不同的环境（如TensorRT、OpenVINO、ONNXRuntime）部署模型时，.pth可能并不适用。这时，ONNX（OpenNeuralNetworkExchange）就必不可少。
MO__YE·2025-02-18 23:12

[C#]C#使用yolov8的目标检测tensorrt模型+bytetrack实现目标追踪

【测试通过环境】win10x64vs2019cuda11.7+cudnn8.8.0TensorRT-8.6.1.6opencvsharp==4.9.0.NETFramework4.7.2NVIDIAGeForceRTX2070Super
FL1623863129·2025-02-17 23:55

c++加载TensorRT调用深度学习模型方法

使用TensorRT来调用训练好的模型并输出结果是一个高效的推理过程，特别是在需要低延迟和高吞吐量的应用场景中。以下是一个基本的步骤指南，展示了如何在C++中使用TensorRT进行推理。
feibaoqq·2025-02-15 13:35

tensorrt推理 onxx转engine代码（python），cyclegan网络推理（python、C++）

将onnx文件导出为engine，FP16格式​​importtensorrtastrtimportpycuda.driverascudaimportpycuda.autoinit#加载ONNX文件onnx_file_path
maobin_1·2025-02-14 10:04

模型实战（19）之 从头搭建yolov9环境+tensorrt部署+CUDA前处理 -＞ 实现目标检测

从头搭建yolov9环境+tensorrt部署实现目标检测yolov9虚拟环境搭建实现训练、推理与导出导出onnx并转为tensorrt模型Python\C++-trt实现推理，CUDA实现图像前处理文中将给出详细实现源码
明月醉窗台·2025-02-14 09:59

pytorch深度学习模型推理和部署、pytorch&ONNX&tensorRT模型转换以及python和C++版本部署

目录1.采用pytorch进行推理2.采用onnx进行推理2.1pytorch转换为onnx2.2onnx推理3.采用tensorrt进行推理（python环境）3.1onnx转engine文件3.2tensorrt
机械心·2025-02-12 10:40

【Windows/C++/yolo开发部署03】将实例分割模型ONNX导出为 TensorRT 引擎：完整记录

【完整项目下载地址】：【TensorRT部署YOLO项目：实例分割+目标检测】+【C++和python两种方式】+【支持linux和windows】资源-CSDN文库目录写在前面环境准备1.使用trtexec
认识祂·2025-02-09 13:42

TensorRT-LLM保姆级教程（一）-快速入门

本系列将针对TensorRT-LLM推理进行讲解。本文为该系列第一篇，将简要概述TensorRT-LLM的基本特性。另外，我撰写的大模型相关的博客及配套代码均整理放置在Github：llm-act
大模型部署·2025-02-05 18:38

ONNX推理warning： TensorRT does not natively support INT64. Attempting to cast down to INT32.

只想用ONNX进行模型推理，加载时报Warning，加载模型时间也特别长。加载模型的代码：self.session=onnxruntime.InferenceSession(model_path,providers=onnxruntime.get_available_providers())修改为：self.session=onnxruntime.InferenceSession(model_pa
paradoxjun·2025-02-02 18:48

通过TenSorRT转换后的engine引擎文件进行验证的脚本

YOLOv8算法验证pt文件的精度脚本一般都很常见，工程项目里面一般会有importwarningswarnings.filterwarnings('ignore')fromultralyticsimportYOLOif__name__=='__main__':model=YOLO('/best.pt')#权重文件路径model.val(data='/data.yaml',#yaml文件路径spl
薇憨·2025-02-01 03:28

【TensorRT】引用了NvInferRuntimeCommon.h仍然报找不到ILogger

如果编译遇到error:‘ILogger’innamespace‘nvinfer1’doesnotnameatype或者error:‘nvinfer1::ILogger’hasnotbeendeclared可能需要显式的添加#include"NvInfer.h"即只includeNvInferRuntimeCommon.h是不够的。
TechBoL·2025-01-27 19:46

nvdia triton server运行pt文件

tritonserver默认都是tensorrt推理。但也会出现有操作不支持，导致无法转模型为engine的情况。可以选择直接运行pytorch的pt文件，以下为操作步骤。
滑稽的柴犬·2025-01-26 23:27

NVIDIA-TensorRT-Python推理

1,前言NVIDIATensorRT进行模型推理的Python实现。TensorRT是一个高性能的深度学习推理优化器和运行时，它能够为深度学习模型提供低延迟和高吞吐量的推理能力。
呆呆珝·2025-01-25 05:07

导出 YOLOv11 模型的详细步骤和说明

以下是关于如何导出YOLOv11模型的详细步骤和说明：1.导出YOLOv11模型的基本步骤YOLOv11模型可以通过Ultralytics提供的接口轻松导出为多种格式，如ONNX、TensorRT、CoreML
old_power·2025-01-23 19:14

【CUDA-BEVFusion】tool/build_trt_engine.sh 文件解读

exitfi#tensorrtversion#version=`trtexec|grep-m1TensorRT|sed-n"s
old_power·2025-01-23 18:37

./yolov8_det: error while loading shared libraries: libnvinfer.so.8: cannot open shared object file:

tensorrt编译的时候报错动态链接库有问题，直接吧把libnvinfer.so.8所在文件夹下的所有文件全部复制到根目录下：/usr/lib/sudocp-rf/home/lzw/TensorRT-
小鲁嵌入式开发之路·2025-01-19 14:38

ImportError: libnvinfer.so.8: cannot open shared object file: No such file or directory

安装完TensorRT后，导入报错ImportError:libcudnn.so.8:cannotopensharedobjectfile:Nosuchfileordirectory上面报错信息的意思主要是
kyle-fang·2025-01-19 14:37

【已解决】ImportError: libnvinfer.so.8: cannot open shared object file: No such file or directory

问题描述：按照tensorrt官方安装文档：https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html#installing-tar
小小小小祥·2025-01-19 14:30

Jetson Nano部署TensorRT加速的YOLO V8

JetsonNano部署YOLOV8刷JetPack镜像Step1：格式化SD卡Step2：下载镜像文件Step3：烧录镜像文件Python环境配置Solution1：更改默认的Python环境Solution2：使用conda管理Python环境YOLOV8部署Step1：源码下载Step2：trtexec环境变量设置Step3：pt权重文件导出为ONNX格式Step4：ONNX文件生成engi
Hylan_J·2025-01-18 04:43

TensorRT模型量化实践

文章目录量化基本概念量化的方法方式1：trtexec（PTQ的一种）方式2：PTQ2.1pythononnx转trt2.2polygraphy工具:应该是对2.1量化过程的封装方式3：QAT(追求精度时推荐)使用TensorRT
痛&快乐着·2024-09-12 01:00

使用TensorRT对YOLOv8模型进行加速推理

这里使用GitHub上shouxieai的infer框架对YOLOv8模型进行加速推理，操作过程如下所示：1.配置环境，依赖项，包括：(1).CUDA:11.8(2).cuDNN:8.7.0(3).TensorRT
fengbingchun·2024-09-11 04:30

ONNX Runtime、CUDA、cuDNN、TensorRT版本对应

文章目录ONNXRuntime的安装ONNXRuntime与CUDA、cuDNN的版本对应ONNXRuntime与ONNX的版本对应ONNXRuntime、TensorRT、CUDA版本对应ONNXRuntime
可keke·2024-09-10 22:45

python 安装 win32com

扩展,Python,安装相关视频讲解：StableDiffusion提升出图速度,TensorRT扩展,SDXL-SSD-1B-A1111,速度提升60%,PyTorch更新python的or运算赋值用法用
郎君啊·2024-09-10 08:40

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。本系列讲解的版本也是基于22.06。本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小
u013250861·2024-09-10 03:09

python opencv cuda tensorrt pytorch之间的版本对应

python3.7opencv4.4cuda10.2tensorrt7xpytorch1.5DeepStream5.xOpenCV2.x：支持Python2.xOpenCV3.x：支持Python2.7
YIACA·2024-09-06 16:33

自动驾驶之心规划控制理论&实战课程

)多传感器融合跟踪全栈教程(视频答疑)多模态融合3D目标检测教程(视频答疑)规划控制理论&实战课程国内首个BEV感知全栈系列学习教程首个基于Transformer的分割检测视觉大模型视频课程CUDA与TensorRT
vsdvsvfhf·2024-09-04 10:05

LLM大模型落地-从理论到实践

Qwen）的技术架构和技术细节；有实际应用RAG、PEFT和SFT的项目经验较强的NLP基础，熟悉BERT、T5、Transformer和GPT的实现和差异，能快速掌握业界进展，有对话系统相关研发经验掌握TensorRT-LLM
hhaiming_·2024-09-04 01:12

算法学习-2024.8.16

一、Tensorrt学习补充TensorRT支持INT8和FP16的计算。深度学习网络在训练时，通常使用32位或16位数据。TensorRT则在网络的推理时选用不这么高的精度，达到加速推断的目的。
蓝纹绿茶·2024-09-04 01:42

onnx转tensorRT模型出现错误 This version of TensorRT only supports input K as an initializer

问题onnx模型转tensorRT模型时，出现错误。
lainegates·2024-08-31 04:49

trt | torch2trt的使用方式

一、安装1.安装tensorrtpython接口下载trt包.tar.gzhttps://developer.nvidia.com/nvidia-tensorrt-5x-download解压tarxvfTensorRT
Mopes__·2024-08-28 10:31

用TensorRT-LLM跑通chatGLM3_6B模型

零、参考资料NVIDIA官网THUDM的GithubNVIDIA的Github一、构建TensorRT-LLM的docker镜像gitlfsinstallgitclonehttps://github.com
心瘾こころ·2024-08-27 11:33

Ubuntu20.04部署Ollama

在Ubuntu20.04上面安装完RTX4060的NvidiaCuda和TensorRT环境后，就开始跑些大模型看看。
stxinu·2024-08-24 05:22

StableDiffusion Automatic1111正式支持Tensorrt

今天在AI绘画的开源平台Automatic1111上发布了Tensorrt项目，项目地址是https://github.com/AUTOMATIC1111/stable-diffusion-webui-tensorrt
germandai·2024-03-08 10:33

PyTorch训练，TensorRT部署的简要步骤（采用ONNX中转的方式）

1.简述使用PyTorch执行训练，使用TensorRT进行部署有很多种方法，比较常用的是基于INetworkDefinition进行每一层的自定义，这样一来，会反向促使研究者能够对真个网络的细节有更深的理解
赛先生.AI·2024-03-08 07:30

ChatGPT引领的AI面试攻略系列：cuda和tensorRT

系列文章目录cuda和tensorRT（本文）AI全栈工程师文章目录系列文章目录一、前言二、面试题1.CUDA编程基础2.CUDA编程进阶3.性能优化4.TensorRT基础5.TensorRT进阶6.
梦想的理由·2024-03-05 12:04
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他