TensorRT 第17页

【RK部署】RK3566部署PaddleOCRv2踩坑记录

由于之前在Nvidia的NX板上部署过TensorRT版的PaddleOCRv2，过程很顺利，以为部署到RK板也会很容易，没想到啊，前前后后搞了1周多，下面是我的踩过坑的记录。

EmeryLearning·2023-02-02 07:38

Ubuntu18.04+cuda10.1+cudnn7.6.3+tensorrt5.1.5.0（deb）

环境配置Ubuntu18.04+cuda10.1+cudnn7.6.3+tensorrt5.1.5.0Ubuntu18.04安装本系统配置背景1.cuda10.1安装2.驱动安装3.cudnn安装与验证

xtdx_xty·2023-02-01 11:40

利用TensorRT实现神经网络提速(读取ONNX模型并运行)

前言在我这里的实验结论表明，在FP32的精度下，使用TensorRT和不使用TensorRT在GPU上运行的速度比大概为3:1，也就是在我这个模型为前提条件下，TensorRT在GPU端使我的模型速度提升了

z649431508·2023-02-01 08:10

ubuntu tensorRT5.1.5.0 sample yolov3转onnx转trt，pytorch转onnx转trt推理

tensorRT5.1.5.0安装官网安装并解压：https://developer.nvidia.com/nvidia-tensorrt-5x-download添加环境变量：exportLD_LIBRARY_PATH

三寸光阴___·2023-02-01 08:29

【torchserve使用最终篇】修改handler文件来实现自己的推理流程|部署onnx模型|部署tensorrt模型

目录前言handler文件的构造说明类别继承关系initialize方法模块：模型的初始化load_model:模型加载模块preprocess：前处理过程inference：推理过程postprocess：后处理过程依赖文件打包方法步骤：其他问题前言在之前我们提到如何去配置torchserve，这使得我们对其有了初步的了解和认识：【torchserve安装和使用】torchserve部署方法|常

活成自己的样子啊·2023-02-01 08:56

pytorch模型(.pth)转tensorrt模型(.engine)的几种方式

深度学习系列文章文章目录深度学习系列文章前言一、trtexec二、torch2trt三、torch2trtdynamic四、parser解析onnx模型五、tensorrtx六、onnx-tensorrt

武魂殿001·2023-02-01 08:48

Jetson cuda build opencv

NVPowerMode:MODE_10W_2CORE-Type:3*jetson_stats.service:active-Libraries:*CUDA:10.2.89*cuDNN:8.0.0.180*TensorRT

xuefeng_apple·2023-02-01 07:04

PaddleOCR文字识别C#部署-升级V2

，生成`c#`调用`dll`4.FAQPaddleOCR文字识别C#部署-1版本后续升级，本次采用PaddleOCRrelease/2.5版本，支持GPU、CPU推理；1.版本对应表CudacuDNNTensorRTPaddleInferenceOpenCVVis

ch_ccc·2023-01-31 19:49

转换onnx_ONNX简化节点和修改教程

有时候需要把模型转成onnx，但是很多时候，很多节点比如cast节点，Identity这些节点可能都不需要，我们需要进行简化，这样会方便我们把模型转成ncnn或者mnn等这些端侧部署的模型格式或者通过tensorRT

高绛婷·2023-01-31 15:55

【windows版】TensorRT安装教程

一、参考资料TensorRT深度学习模型剪枝、量化和TensorRT推理深度学习模型PyTorch训练并转ONNX与TensorRT部署TensorRT(1)-介绍-使用-安装TensorRT模型量化技术

花花少年·2023-01-31 14:23

VS c++ error C2589:“(“:“::“ 右边的非法标记错误处理

在使用windowsVS2019使用tensorrt部署yolov5时，size.Width=std::max(size.Width,elementSize.Width);提示了errorC2589:“

wjjun_89·2023-01-31 10:07

TensorRT采坑api

文章目录TensorRT链接TensorRT工具对接TensorFlow采坑APInvinfer1::INetworkDefinitionaddInputaddReduceaddShuffledynamicreshape

CatkinLX·2023-01-31 10:28

SSD目标检测网络tensorRT推理【附代码】

终于更新了，本篇是实现了SSD的tensorrt推理【python版】。YOLOv4以及YOLOv5C++版的tensorrt推理可以看我之前的文章。

爱吃肉的鹏·2023-01-30 22:18

使用NVIDIA 免费工具TENSORRT 加速推理实践--YOLOV3目标检测

使用NVIDIA免费工具TENSORRT加速推理实践–YOLOV3目标检测tensorRT5.0之前主要支持计算机视觉类的模型，现在已经升级到TensorRT7.0，对语音、语义、自然语言处理等方向的模型也能提供很好的支持

行路南·2023-01-30 14:00

在Jetson等设备上为不同版本的Python打包安装TensorRT

Jetson的TensoRT是板载、对应固定的Python版本的，如果手动安装了不同版本的Python，很难手动安装对应版本的TensorRT。

vagrancy_-·2023-01-29 16:12

tensorrt ImportError: No module named ‘tensorrt‘

ModuleNotFoundError:Nomodulenamed'tensorrt'使用tensorrtpythonAPI时，importtensorrt会报错。

STU_11wxzou·2023-01-29 16:12

TensorRT(11):python版本序列化保存与加载模型

TensorRT系列传送门(不定期更新):深度框架|TensorRT文章目录一、序列化保存模型二、反序列化加载模型三、完整代码楼主曾经在TensorRT(7)：python版本使用入门一文中简要记录了python

hjxu2016·2023-01-29 16:41

TensorRT(7)：python版本使用入门

TensorRT系列传送门(不定期更新):深度框架|TensorRT文章目录一、TRT在线加载模型，并构建推断引擎的步骤二、在线加载onnx模型,序列化保存到本地三、反序列化直接加载保存后的trt模型四

hjxu2016·2023-01-29 16:41

TensorRT(10):python版本安装

随着TensorRT8.0版本的发布，windows下也正式支持Python版本了，跟紧NVIDIA的步伐，正式总结一份TensorRT-python的使用经验。

hjxu2016·2023-01-29 16:11

ubuntu18.04环境下TensorRT安装+python3.8

0说明本人安装TensorRT环境踩了一些坑，记录一下。主要针对出现的安装问题进行解决。正常安装步骤基本按照官网或者他人的即可，写的很详细了。1正常情况正常按照官网或者参考网站安装即可。

fl_2016·2023-01-29 16:11

[深度学习][原创]AssertionError: Unsupported fields [‘max_delta‘]解决方法

如果涉及到怎么改变框的颜色等具体细节就不行了，如果想用yolov4.weights进行GPU加速而且是做python开发的话，我们可以有很多方法：比如yolov4.weights->yolov4.onnx->yolov4.trt(tensorrt

FL1623863129·2023-01-29 10:05

Ubuntu20.04 + TensorRT8.2.5 + CUDA11.4 + cuDNN8.2.1

ubuntu20.04GPU：NVIDIA-GEFORCERTX3050TICPU：AMD5800H集显：AMDRadeonGraphics显存：4GBNvidia显卡驱动安装莫从官网下载，官网版本显卡的内核版本太高了，很容易安装完之后黑屏，拥有更好的解决方法。如果安装之后黑屏了，在双系统选择页面，选择Advancedoptionsforubuntu，另选择一个内核启动，启动之后卸载掉已安装的nv

元让_vincent·2023-01-29 08:14

yolov7的 TensorRT c++推理，win10， cuda11.4.3 ，cudnn8.2，tensorrt8.2.1.8。

yolov7的tensorrt8推理，c++版本环境win10vs2019opencv4.5.5cuda_11.4.3_472.50_win10.exeTensorRT-8.2.1.8.Windows10

vokxchh·2023-01-29 08:38

yolov8 tensorrt模型加速部署【实战】

ubuntu下yolov8tensorrt模型加速部署【实战】TensorRT-Alpha基于tensorrt+cudac++实现模型end2end的gpu加速，支持win10、linux，在2023年已经更新模型

FeiYull_·2023-01-29 07:03

实战教程：win10环境下用TensorRT推理YOLOv5

本文章记录在win10环境下用TensorRT推理YOLOv5.例子来源于大佬的项目：https://github.com/wang-xinyu/tensorrtx，但此工程是在ubuntu上开发，在win10

脆皮茄条·2023-01-29 07:03

yolov7 tensorrt模型加速部署【实战】

前排提示这篇是yolov7部署方法，yolov8请看这里：《yolov8tensorrt模型加速部署【实战】保姆级教程》http://t.csdn.cn/oPv5p0.linux环境配置参考我这篇保姆教程

FeiYull_·2023-01-29 07:03

object detection with the onnx tensorrt backbone in python-yolov3_onnx

yolov3_to_onnx.pyfrom__future__importprint_functionfromcollectionsimportOrderedDictimporthashlibimportos.pathimportwgetimportonnxfromonnximporthelperfromonnximportTensorProtoimportnumpyasnpimportsyssy

谢欣燕·2023-01-28 11:36

NVIDIA CUDA TensorFlow TensorRT openVINO FFmpeg openCV等编译安装 Linux C++

Tosonw·2023-01-27 08:41

Win10 + LibTorch: torch::cuda::is_available()报错解决方法

添加缺失的附加依赖项3.2添加特殊的附加依赖项3.3找不到c10.dll1.WIN10+LibTorch配置方法LibTorch是Pytorch模型进行C++部署时会用到的库Pytorch模型C++部署也可以使用TensorRT

Neo_YH·2023-01-26 17:24

Win10 C++ OpenCV CUDA安装

安装C++OpenCVCUDA，配合TensorRT模型进行推理，可用于目标检测等任务完成编译花了很长时间，主要参考了以下blog，这篇帮助很大https://blog.csdn.net/qq_39567427

Neo_YH·2023-01-26 17:53

Jetson nano + yolov5 + TensorRT加速+Deepstream调用多路摄像头

最近项目有需要，需要接入多路视频，并借助深度学习完成识别。硬件平台为jetson系列的nano，上一篇文章已经说明了yolov5的配置方法，不过那一篇是借助miniforge，利用python3.10实现的，之前一直以为是nano自带的3.6.9不可以，经过一番研究发现其实是可以的，只是之前方法不对，今天主要是介绍从开始下载系统，到能够跑通多路视频，做一个比较详细的记录。一、系统环境搭建1、烧写系

laoli_·2023-01-26 10:34

yolov8+tensorrt部署加速

yolov8地址：https://github.com/ultralytics/ultralyticsyolov8+tensorrt部署加速https://github.com/FeiYull/TensorRT-Alpha

翟羽嚄·2023-01-26 10:00

yolov5s,yolov5m,yolov5l,yolov5face推理速度对比

nx上测试，参考代码：https://github.com/shouxieai/tensorRT_Pro实测yolov5s，640x640，int8，fps=140yolov5-face：https:/

cv-daily·2023-01-26 09:21

在Jetson nano中利用TensorRT进行推理加速yolov5-6.0

在Jetsonnano中利用TensorRT进行推理加速yolov5-6.0文章目录在Jetsonnano中利用TensorRT进行推理加速yolov5-6.0一、配置yolov5二、利用TensorRT

carrymingteng·2023-01-25 10:20

Ubuntu20.04.4装显卡及其他所有驱动

非改配置文件形式）2.更新内核到5.16（非手动安装版）3.安装显卡驱动4.检验成果四.屏幕亮度，色温调节不了/息屏关机1.下个亮度调节第三方插件即可2.将设置的电池里面改为永不息屏五.20.04装汉语输入法六Tensorrt

只想搞绩点的混子·2023-01-24 09:00

tensorrt 加速原理

第一是TensorRT支持INT8和FP16的计算，通过在减少计算量和保持精度之间达到一个理想的trade-off，达到加速推断的目的。

G换一种活法·2023-01-23 10:04

榨干GPU性能， TensorRT 高性能推理教程

部署是人工智能落地的最后一公里，但是这“一公里”往往并不好走。如何让模型落地复杂的软硬件环境，并充分实现最优的推理效果，一直是人工智能从业者们追求和努力的方向。飞桨听见所有开发者的心声，在未来的一个月中，分別准备了十节不同场景的手把手部署实操课程，其中又分为四月服务器侧部署系列5节课程，及五月端侧部署系列的5节推理实践。今天就来为大家介绍一下4月19、20日的这两节课程，想提前了解课程内容可以观看

OpenCV中文网公众号·2023-01-22 15:22

Windows系统下编译安装MMDeploy

Windows系统下编译安装MMDeploy在Windows系统下编译安装MMDeploy模型部署工具，并转换为ONNX（IR），进而转换为TensorRT进行推理的一整套流程，内容来源于官方文档，做了少量精简和修改

红烧code·2023-01-22 09:30

nlp模型加速之-oonx, tensorrt

一、模型加速原理原始的训练框架（pytorch，TensorFlow）比较重，结合GPU计算能力没那么强，利用其它快速的框架，例如onnx（微软开源），tensorrt（NVIDIA推出）；二、环境准备

zhurui_xiaozhuzaizai·2023-01-21 21:58

jetbot11 之人手目标检测(hand detect)

自己训练一个yolov5objectdetect模型再跑跑tensorRT加速吧。技术主题：yolov5s训练人手检测模型并使用tensortRT加速。

walletiger·2023-01-21 21:58

tensorRT踩坑日常之训练模型转ONNX转engine

tensorRT踩坑日常之训练模型转ONNX转enginetensorRT是用来干嘛的在这里就不多介绍了在使用tensorRT提速之前需要先训练模型在将训练好的模型转ONNX再转engine一、将训练好的模型转

静待有缘人·2023-01-21 21:53

[笔记]darknet(.weights)—＞onnx—＞.engine

利用darknet训练YOLOv4，利用TensorRT部署到Jetson平台（用的是Xavier，Jetpack4.5）。第0，1，2步是在Station上完成的，第3步是在Xavier上完成的。

YaoJiawei329·2023-01-21 21:22

tensorrt deeplabv3+ 部署踩坑

左右后面我用得pytorch的deeplabv3+实现https://github.com/yassouali/pytorch-segmentation转换成onnx模型再转trt模型推理也在2s左右后面参考tensorrtx

isyoungboy·2023-01-21 16:29

yolo v8 解决了 v5 的问题嘛？

准确率的提升yolov8的速度提升参考文献与学习路径yolov8简介官网：https://ultralytics.com/yolov8https://github.com/triple-Mu/YOLOv8-TensorRT

shiter·2023-01-21 11:54

C++ 源代码 : 基于OpenGL和TensorRT实现的PC端实时人脸美颜系统

C++源代码:基于OpenGL和TensorRT实现的PC端实时人脸美颜系统运行于Win1064位系统，用CUDA和TensorRT实现人脸位置检测和106关键点检测，用OpenGL和GLSL实现人脸美颜

「已注销」·2023-01-21 09:43

wts文件生成engine文件的方法

文件，并将该文件转移到jetson平台上，这里以yolov5.wts为例：(备注)：获取wts文件方法可参考以下链接(只要获得wts文件，则链接内剩余内容无需看)：Pytorch模型–＞wts文件–＞TensorRT

郭建洋·2023-01-20 17:47

TensorRT学习（3）：加载engine文件进行推理

1.加载pointNet引擎文件并创建引擎对象//加载引擎文件std::stringengine_name="./pointnet.engine";std::ifstreamfile(engine_name,std::ios::binary);if(!file.good())std::cerrdeserializeCudaEngine(modelStream,size);IExecutionCon

萘和·2023-01-20 17:45

TensorRT学习（2）：使用C++API构建引擎

TensorRT学习(1)使用C++API构建引擎1.tensorrt轮子代码示例首先我们先将tensorRT的函数简单封装一下，方便后面搭建网络，以下为部分示例：//size()获取张量形状staticvectortrt_size

萘和·2023-01-20 17:14

FCN8s 转 tensorrt（通过wts文件）

先用pytorch训练FCN，然后把权重的pth文件，先转为wts文件，然后在NX板上转为tensorrt的engine文件只写具体思路和遇到的问题，完整版参考github这里写的是paper里的由vgg16

蓝羽飞鸟·2023-01-20 17:12

[笔记]--tensorrt及神经网络常用的.wts权重格式解析

介绍.wts是一种可解释性文本对于一个例子lenet5.wts来说，这里我们展示他的一部分。10conv1.weight150be40ee1bbd20bab8bdc4bc53.......conv1.bias6bd327058.......conv2.weight24003c6f22203c693090......conv2.bias16bd183967bcb1ac8a.......fc1.wei

orangezs·2023-01-20 17:42

推荐频道

TensorRT