tensorrt 第15页

TensorRT综述

TensorRT综述TensorRT综述概述环境搭建(基于docker环境)ONNX转TensorRTTensorRT推理加载EfficientNetTensorRT模型分配GPU、将输入数据复制到GPU

江小皮不皮·2023-04-03 00:10

MMDeploy学习笔记（一）：模型部署基础知识

MMDeploy学习笔记（一）：模型部署基础知识概述ONNX模型模型部署案例-分类模型ResNetPytorch模型转ONNX模型使用ONNXRuntime对ONNX模型进行推理使用TensorRT对ONNX

cv-player·2023-04-03 00:24

实现TensorRT-7.0插件自由！(如果不踩坑使用TensorRT插件功能)

本系列为新TensorRT的第一篇，为什么叫新，因为之前已经写了两篇关于TensorRT的文章，是关于TensorRT-5.0版本的。

OLDPAN·2023-04-02 20:01

TensorRT8 使用手记（1）模型测试 Conv+BN+Relu 结构融合

Conv+BN+Relu结构在主流卷积神经网络模型中Conv+BN+Relu是一种常见的模型结构。在模型推理和训练中，BN层往往与其他层合并，以减少计算量。模型解析node_of_325[TRT]Parsingnode:node_of_325[Conv][TRT]Searchingforinput:324[TRT]Searchingforinput:layer1.0.conv1.weight[TR

NoNNus·2023-04-02 09:56

TensorRT系列教程-ONNX基础

TensorRT系列教程-ONNX基础文章目录TensorRT系列教程-ONNX基础概述一、TensorRT模型二、TensorRTC++接口模型构建1.示例备注：2.TensorRTC++基本接口模型推理备注

武魂殿001·2023-04-02 02:13

【玩转Jetson TX2 NX】（九）TX2 NX 安装onnx-tensorrt工具（详细教程+错误解决）

1onnx-tensorrt工具安装onnx-tensorrt工具可以实现将onnx文件转到trt文件，首先通过如下命令安装该工具gitclone--recurse-submoduleshttps://

鲁棒最小二乘支持向量机·2023-04-02 01:09

Deep Learning-4-Caffe、TensorFlow、MXnet三个开源库对比+主流分类模型对比

Yolov-1-TX2上用YOLOv3训练自己数据集的流程(VOC2007-TX2-GPU)Yolov--3--TensorRT中yolov3性能优化加速（基于caffe）yolov-5-目标检测：YOLOv2

明宇朗心·2023-04-02 01:02

第一个TensorRT程序，写一个多层感知机

TensorRTbuildengine的流程创建builder:创建网络定义builder-->network配置参数:builder-->config生成engine:builder-->engine

智障学AI·2023-04-02 01:54

Yolov5 动态链接库DLL导出（tensorrt版本——C++调用）

延续前两篇yolov5+tensorrt环境部署和C++测试yolov5检测结果文章内容，这里将yolov5源码封装成动态链接库的方式供其他平台调用，这里参考该博主的文档。

工控90·2023-04-01 12:47

Yolov5+TensorRT-生成dll-python/c++调用dll

YOlov5-6.0+TensorRT+dll+python/c++调用简介1.项目环境2.TensorRT验证1.在tensorrtx-yolov5-v6.0\yolov5目录下新建build目录2.

我是一块小鸭子·2023-04-01 11:27

TensorRT与TVM性能比较（Resnet50）

如果采用GPU硬件平台，一般会使用TensorRT方式部署，因为TensorRT能够充分发挥GPU平台的性能，同时也做了很多的优化（算子融合，量化等），所以在性能上有比较大的优势。

crazyhank·2023-04-01 10:13

tensorRT介绍

1-什么是算力TOPS是TeraOperationsPerSecond的缩写1TOPS代表处理器每秒钟可进行一万亿次（10^12）操作GOPS（GigaOperationsPerSecond：1GOPS代表处理器每秒钟可进行十亿次（10^9）操作MOPS（MillionOperationPerSecond）：1MOPS代表处理器每秒钟可进行一百万次（10^6）操作一个MFLOPS（megaFLOP

xuefeng_apple·2023-04-01 03:18

TensorRT量化第二课：对称量化与非对称量化

目录模型量化原理注意事项一、2023/3/30更新前言1.引出问题1.1问题1.2代码实现1.2.1初始化输入数组1.2.2Scale计算1.2.3量化截断1.2.4反量化1.2.5完整代码2.非对称量化2.1动态范围量化2.2代码实现2.3原理分析2.3.1动态量化范围2.3.2偏移量Z2.3.3图例分析3.对称量化3.1相关知识3.2代码实现3.3思考4.对称量化vs.非对称量化总结模型量化原

爱听歌的周童鞋·2023-03-31 16:34

glog中的CHECK和cuda中的CHECK冲突

一、问题描述项目中用到TensorRT进行模型的推理同时项目中用到了glog作为日志管理的工具。TensorRT中用到了显存开辟函数cudaMalloc等函数，因此加了CHECK函数校验是否开辟成功。

RunningJiang·2023-03-31 12:13

【TensorRT算法部署】精简CUDA - DriverAPI概述

一、简介1、CUDADriver是与GPU沟通的驱动级别底层API2.对DriverAPI的理解，有利于理解后续的RuntimeAPI3.CUDADriver随显卡驱动发布，与cudatoolkit分开看4.CUDADriver对应于cuda.h和libcuda.so文件5.主要知识点是Context的管理机制，以及CUDA系列接口的开发习惯（错误检查方法），还有内存模型二、context1、手动

Ponnyao·2023-03-31 11:59

superglue、superpoint C++ TensorRT

motivation（动机）很早以前自从看了superglue、superpoint算法后，一直想把它们利用TensorRT进行加速实现一遍，由于平常太忙一直没有去做这个事情，不过利用周末的时间，终于把代码堆完了

broad-sky·2023-03-31 09:05

2023-03-21如何对优化（已改变网络结构）的YOLO模型进行tensorrt模型转换？

提示：之前写过一篇如何将自己训练的yolo模型转化为tensorrt相关的模型，该yolo模型采用的是原始的网络结构，没有做任何改变，所以相关的转换过程只需要按部就班就行，改一些固定参数就行，详情可参考链接

LJhaha·2023-03-30 18:12

TensorRT7.0学习:由于找不到cudnn64_7.dll （win+vs2017+CUDA10.2）

正在安装TensorRT,配好了库，但出了这么一个报错，如题目中。我想运行附带的手写数字分类例程这个错误，我找了很久，也没发现相关的资料。起初以为是路径include的少了，但后来发现，并非如此。

拓扑凝聚态·2023-03-30 05:38

paddlepaddle serving部署提示 libncurses.so.6: cannot open shared object file: No such file or directory

errorwhileloadingsharedlibraries:libncurses.so.6:cannotopensharedobjectfile:Nosuchfileordirectory出现以上错误需安装TensorRThttps

程有理·2023-03-30 03:07

TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！

前言大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。

OLDPAN·2023-03-29 18:44

Yolov5-6.0官方源代码骨干解析，并使用TensorRT加速推理，最后封装成API

这里写目录标题YOLOV5模型源码的详细解析，先从模型结构开始，再到数据的预处理阶段，然后模型推理阶段Detect，最后使用TensorRT部署加速，基于Flask封装成api方便调用。

鲲到底有多大·2023-03-29 14:37

paddleocr-tensorrt加速-Serving部署

代码准备下载2.0版本以上的paddleocr：paddleocr2.0以上的在训练自己模型的时候有参数：load_static_weights:True#是否将预训练模型保存在静态图形模式所以，只要安装好了tensorrt

欧菲斯集团·2023-03-29 08:21

yolov7—tensorrt报错AttributeError: ‘NoneType‘ object has no attribute ‘execute_v2‘已解决。

这个bug我整了好久，不管怎么搜索资料就是解决不了，还好我脑袋突然灵光一闪，想到我自己使用的是cuda10.2版本的，而cuda10.2版本是有两个额外的修复包，我去下载并安装完后，再把tensorrt

爱笑的男孩。·2023-03-29 07:53

研究团队用TensorRT将实时对象检测性能提高6倍

文章来源：ATYUNAI平台SKTelecom的研究人员开发了一种新方法，用NVIDIATensorRT高性能深度学习推理引擎使基于深度学习的对象检测加速。

whale52hertz·2023-03-29 05:56

Linux centos7 安装TensorRT

注意：a、主要两个文件：TensorRT、pycuda包文件。b、tensorRT需要到官网下载后解压到固定的系统文件夹下即可。pycuda则是直接使用pip安装即可。

我是胡歌·2023-03-29 04:06

【TensorRT】基于C#调用TensorRT 部署Yolov5模型 - 下篇：部署Yolov5模型

基于C#调用TensorRT部署Yolov5模型3.1新建C#项目3.2添加OpenCVsharp3.3添加项目引用3.4TensorRT部署Yolov5模型1.引入模型相关信息2.初始化推理核心类3.

椒颜皮皮虾྅·2023-03-29 02:45

GPU推理服务性能优化之路｜得物技术

最终通过两项关键的技术:1.Python的GPU与CPU进程分离，2.使用TensorRT对模型进行加速，使得线上大部分模型服务QPS提升5-10倍左右，大量节约了线上GPU推理服务的成本。

得物技术·2023-03-26 09:51

Jetson Nano配置YOLOv5并实现FPS=25

镜像下载、域名解析、时间同步请点击阿里云开源镜像站一、版本说明JetPack4.6——2021.8yolov5-v6.0版本使用的为yolov5的yolov5n.pt，并利用tensorrtx进行加速推理

萌褚·2023-03-26 06:31

pytorch搭建手写数字识别LeNet-5网络，并用tensorRT部署

pytorch搭建手写数字识别LeNet-5网络，并用tensorRT部署前言1、pytorch搭建LeNet-5，并转为ONNX格式1.1LeNet-5网络介绍1.2ONNX(OpenNeuralNetworkExchange

小广向前进·2023-03-25 12:18

轻量主干新SOTA！GhostNetV2：长距离注意力机制增强（北大&诺亚）

作者|科技猛兽编辑|极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码

自动驾驶之心·2023-03-25 07:08

pytorch经onnx转tensorrt初体验（上）

pytorch转成tensorrt时需要利用中间件onnx，所以第一步需要将pytorch模型转成onnx格式。onnx其实相当于以通用格式保存网络的计算图。

熙熙江湖·2023-03-23 20:22

GTC CHINA 2019 | 黄仁勋发表主题演讲，多项创新技术与合作全面助力 AI 加速落地

TensorRT

CSDN云计算·2023-03-23 07:35

[C#][原创]使用C#部署yolov7的tensorrt模型

要说C#当前做深度学习能力很弱，但是源于对C++非常友好的接口，使得C#做界面，C++做算法非常适合，因此你问我目前在C#方面最好的深度学习部署方式是什么？我只能说是调用C++接口，目前github或者其他开源网站都有各种C#版本的深度学习部署库，比如yolov5-net,yolov7-net但是这些库的速度都是非常感人的，他们大多数是通过onnx作为推理对象，这得益于微软的Onnxrumtime

未来自主研究中心·2023-03-23 02:03

keras模型转换为onnx模型推理，记录实现过程

之前成功将pytorch下的bert模型转换为onnx及tensorrt框架下的模型进行推理，特别在在tensor框架下，推理速度估算是提高了3-4倍（估算，跟显卡及设置的batch_size大小有关）

weixin_49525852·2023-03-22 15:06

从PyTorch导出ONNX使用TensorRT模型加速

虚拟环境安装CUDA路径】_condacuda安装目录_一苇以航_aw的博客-CSDN博客（在大部分的场景我们都需要查看自己配置的环境）这里给了python检测环境的方法：importtorchimporttensorrtprint

认真点，，·2023-03-22 14:01

【玩转Jetson TX2 NX】（五）TX2 NX TensorRT环境搭建及实时图像识别（详细教程+错误解决）

1TensorRT环境搭建首先介绍搭建流程和关键点：网络一定要稳定，网速要好安装几个包sudoapt-getinstalllibpython3-devsudoapt-getinstallpython3-

鲁棒最小二乘支持向量机·2023-03-21 14:36

python获取C++动态so库的输出/错误

比如TensorRT模型生成中的报错信息，[TensorRT]ERROR:..

qizhen816·2023-03-17 16:13

docker部署ubuntu18.04深度学习环境——cuda11.1、cudnn8.0.5、pytorch1.8.0、tensorrt7.2.2.3、opencv4.4.0

docker3Docker修改容器默认存储位置4安装dockercompose5安装nvidia-docker6下载nvidiaCUDA镜像7安装python3.8环境8安装pytorch1.89安装tensorrt7.2.2.3

June vinvin·2023-03-16 13:10

睿智的目标检测——YoloV7-Tiny-OBB旋转目标检测算法部署

YoloV7-OBB旋转目标检测算法部署学习前言源码下载安装TensorRT1.TensorRT简介2.下载TensorRT3.TensorRT安装安装torch2trt1.torch2trt简介2.torch2trt

_白鹭先生_·2023-03-12 07:16

YOLOv6 PyTorch模型转TensorRT

文章目录YOLOv6PyTorch模型转TensorRT1.github开源代码2.PyTorch模型转ONNX模型3.ONNX模型转TensorRT模型3.1概述3.2编译3.3运行4.推理结果YOLOv6PyTorch

令狐傻笑·2023-03-12 07:38

yolov7 PyTorch模型转TensorRT

文章目录yolov7PyTorch模型转TensorRT1.github开源代码2.PyTorch模型转ONNX模型3.ONNX模型转TensorRT模型3.1概述3.2编译3.3运行4.推理结果yolov7PyTorch

令狐傻笑·2023-03-12 07:38

PPQ库中KLD算法实现代码解析

PPQ算法实现nvidia发布的PPT：8-bitInferencewithTensorRT，百度可下载。下两图是KLD算法的实现伪代码：下图是PPQ算法的实现过程：见http

是江姑娘呀·2023-03-09 10:27

TensorRT工作手册

_牛先生_·2023-02-26 07:35

论文（四）YOLOv4解读及一些思考

neck）6.FPN+PAN（neck）7.Prediction创新（1）CIOU_loss（2）DIOU_nms8.YoloV4相关代码8.1python代码8.2C++代码8.3python版本的Tensorrt

weixin_40227656·2023-02-25 21:06

YOLO之trt推理+Diou/iou目标跟踪以及计数【附代码】

本篇文章是对之前YOLOv4tensorrt推理项目的更新，在trt推理，多进程语音报警的功能中又新添加了目标跟踪【可用于目标计数】采用IOU进行跟踪【也可以选用DIOU】。

爱吃肉的鹏·2023-02-25 21:05

深入浅出Yolo系列之Yolov3&Yolov4&Yolov5核心基础知识完整讲解

核心基础知识完整讲解1.论文汇总2.YoloV3核心基础内容2.1网络结构可视化2.2网络结构图2.3核心基础内容3.YoloV3相关代码3.1python代码3.2C++代码3.3python版本的Tensorrt

yhwang-hub·2023-02-25 21:05

fp32和int8模型的区别_从TensorRT看INT8量化原理

1LowPrecisionInference现有的深度学习框架比如：TensorFlow，pytorch，Caffe，MixNet等，在训练一个深度神经网络时，往往都会使用float32(FullPrecise，简称FP32)的数据精度来表示，权值、偏置、激活值等。但是如果一个网络很深的话，比如像VGG，ResNet这种，网络参数是极其多的，计算量就更多了(比如VGG19.6billionFLOP

weixin_40003451·2023-02-23 16:36

行为分析(十一)：模型部署部分（二）：INT8模型量化以及TensorRT和NCNN的简单了解

在之前的文章中也提到过，模型的部署可以理解为是：python训练权重转换为量化工具所需要的文件格式、模型量化、输出一致性校准和将模型放置于计算端运行测试这几部分的集合。上面提到的整个模型部署过程中，相对比较困难的是模型量化过程量化背景尽管模型size在不断地压缩，但是其计算量通常还是有一两百MFLOPS的样子，这个计算量对于目前的（中低端）移动端CPU算力来说，还是有点吃力的，因此模型端做了最大的

是魏小白吗·2023-02-23 16:05

神经网络INT8量化~部署

那个时候使用的量化脚本是参考于TensorRT和NCNN的PTQ量化（训练后量化）模式，使用交叉熵的方式对模型进行量化，最终在树莓派3B+上部署一个简单的分类模型（识别剪刀石头布静态手势）。

whaosoft143·2023-02-23 16:33

host文件_Tensor RT-pytorch权重文件转engine

备份：banQ/pythonProject/TensorRT_demo1.根据pytorch保存权重的方法保存两种方法#第一种方法'''保存weight等信息'''state={‘net':model.state_dict

weixin_39875503·2023-02-22 07:21

推荐频道

tensorrt