模型部署（tensorRT) 第29页

榨干GPU性能， TensorRT 高性能推理教程

部署是人工智能落地的最后一公里，但是这“一公里”往往并不好走。如何让模型落地复杂的软硬件环境，并充分实现最优的推理效果，一直是人工智能从业者们追求和努力的方向。飞桨听见所有开发者的心声，在未来的一个月中，分別准备了十节不同场景的手把手部署实操课程，其中又分为四月服务器侧部署系列5节课程，及五月端侧部署系列的5节推理实践。今天就来为大家介绍一下4月19、20日的这两节课程，想提前了解课程内容可以观看

OpenCV中文网公众号·2023-01-22 15:22

MMDeploy SDK使用指南

MMDeploySDK使用指南工程上，深度学习模型部署的时候，理应不依赖于PyTorch/TensorFlow这些具体的深度学习模型框架的，因为它们体积大，速度慢，将模型进行格式转换后，配置相应的推理引擎即可实现部署与加速

红烧code·2023-01-22 09:31

Windows系统下编译安装MMDeploy

Windows系统下编译安装MMDeploy在Windows系统下编译安装MMDeploy模型部署工具，并转换为ONNX（IR），进而转换为TensorRT进行推理的一整套流程，内容来源于官方文档，做了少量精简和修改

红烧code·2023-01-22 09:30

基于2D Object Detection的目标几何中心三维位置估计（C++）

前置知识为了让博客内容显得简洁些，这里不再介绍前置知识，包括：2DObjectDetection订阅Realsense相机Onnxruntime模型部署像素坐标变换到相机坐标系三维位置估计订阅内参订阅RGB

点PY·2023-01-22 02:08

nlp模型加速之-oonx, tensorrt

一、模型加速原理原始的训练框架（pytorch，TensorFlow）比较重，结合GPU计算能力没那么强，利用其它快速的框架，例如onnx（微软开源），tensorrt（NVIDIA推出）；二、环境准备

zhurui_xiaozhuzaizai·2023-01-21 21:58

jetbot11 之人手目标检测(hand detect)

自己训练一个yolov5objectdetect模型再跑跑tensorRT加速吧。技术主题：yolov5s训练人手检测模型并使用tensortRT加速。

walletiger·2023-01-21 21:58

tensorRT踩坑日常之训练模型转ONNX转engine

tensorRT踩坑日常之训练模型转ONNX转enginetensorRT是用来干嘛的在这里就不多介绍了在使用tensorRT提速之前需要先训练模型在将训练好的模型转ONNX再转engine一、将训练好的模型转

静待有缘人·2023-01-21 21:53

[笔记]darknet(.weights)—＞onnx—＞.engine

利用darknet训练YOLOv4，利用TensorRT部署到Jetson平台（用的是Xavier，Jetpack4.5）。第0，1，2步是在Station上完成的，第3步是在Xavier上完成的。

YaoJiawei329·2023-01-21 21:22

tensorrt deeplabv3+ 部署踩坑

左右后面我用得pytorch的deeplabv3+实现https://github.com/yassouali/pytorch-segmentation转换成onnx模型再转trt模型推理也在2s左右后面参考tensorrtx

isyoungboy·2023-01-21 16:29

【记录】记录第一次使用tensorflow serving全过程

2.1ckpt2pb2.2pb2saved_model3.向该dockerTFServing传递参数，进行预测在完成模型的训练之后，要将其部署到公司的CPU服务器上，为解决这一问题，谷歌发布了TensorFlow(TF)Serving，希望能解决ML模型部署到生产的一系列问题

你搁这儿写bug呢？·2023-01-21 13:26

yolo v8 解决了 v5 的问题嘛？

准确率的提升yolov8的速度提升参考文献与学习路径yolov8简介官网：https://ultralytics.com/yolov8https://github.com/triple-Mu/YOLOv8-TensorRT

shiter·2023-01-21 11:54

CUDA常用功能接口API

将cuda的一些常用操作封装成接口API，供应用程序调用，一般主要用于模型部署应用的预处理。

space01·2023-01-21 09:51

C++ 源代码 : 基于OpenGL和TensorRT实现的PC端实时人脸美颜系统

C++源代码:基于OpenGL和TensorRT实现的PC端实时人脸美颜系统运行于Win1064位系统，用CUDA和TensorRT实现人脸位置检测和106关键点检测，用OpenGL和GLSL实现人脸美颜

「已注销」·2023-01-21 09:43

.pth转.weights/openCV-python + YOLO v3实现目标检测

文章目录前言一、基于Pytorch框架的YOLOv3二、openCV-python三、.pth转.weights四模型部署总结前言毕设做的是水面目标的目标检测，因为要用Tkinter制作用户界面，于是采用

崔克的山地车·2023-01-20 17:17

wts文件生成engine文件的方法

文件，并将该文件转移到jetson平台上，这里以yolov5.wts为例：(备注)：获取wts文件方法可参考以下链接(只要获得wts文件，则链接内剩余内容无需看)：Pytorch模型–＞wts文件–＞TensorRT

郭建洋·2023-01-20 17:47

TensorRT学习（3）：加载engine文件进行推理

1.加载pointNet引擎文件并创建引擎对象//加载引擎文件std::stringengine_name="./pointnet.engine";std::ifstreamfile(engine_name,std::ios::binary);if(!file.good())std::cerrdeserializeCudaEngine(modelStream,size);IExecutionCon

萘和·2023-01-20 17:45

TensorRT学习（2）：使用C++API构建引擎

TensorRT学习(1)使用C++API构建引擎1.tensorrt轮子代码示例首先我们先将tensorRT的函数简单封装一下，方便后面搭建网络，以下为部分示例：//size()获取张量形状staticvectortrt_size

萘和·2023-01-20 17:14

FCN8s 转 tensorrt（通过wts文件）

先用pytorch训练FCN，然后把权重的pth文件，先转为wts文件，然后在NX板上转为tensorrt的engine文件只写具体思路和遇到的问题，完整版参考github这里写的是paper里的由vgg16

蓝羽飞鸟·2023-01-20 17:12

[笔记]--tensorrt及神经网络常用的.wts权重格式解析

介绍.wts是一种可解释性文本对于一个例子lenet5.wts来说，这里我们展示他的一部分。10conv1.weight150be40ee1bbd20bab8bdc4bc53.......conv1.bias6bd327058.......conv2.weight24003c6f22203c693090......conv2.bias16bd183967bcb1ac8a.......fc1.wei

orangezs·2023-01-20 17:42

linux下pythorch训练yoloV5模型转换为tensorRT模型

模型转换代码准备从如下链接克隆tensorrtx代码，里面包含多种模型的转

lansebingxuan·2023-01-20 17:42

详细步骤：pytorch pth转wts转tensorrt（自定义模型，不用parser）

分两步转是考虑了如下应用场景：需要把模型部署到内存有限的嵌入式板自己的电脑上安装的有anaconda,pytorch等，但是在电脑上转的不能直接在板子上用板子的内存有限，不能安装anaconda,pytorch

蓝羽飞鸟·2023-01-20 17:42

TensorRT学习（1）：通过pth生成wts文件

TensorRT学习（1）：通过pth生成wts文件1.pth文件简介pth文件是pytorch保存模型的一种方式，该文件只保存模型的参数。

萘和·2023-01-20 17:11

Tensorrt 7.2.3 转换yolov5 v3.0 pytorch1.8.1 onnx1.6.0

Tensorrt转换yolov5安装环境：pytorch1.8.1torchvision0.9.1onnx1.6.0Tensorrt7.2.3yolov5v3.0l权重为自己训练的6类这里用了两种方案：

anny_jra·2023-01-20 02:11

ubuntu18.04系统下配置显卡驱动+Cuda+Cudnn（后续会更tensorrt）

RTX3060系统：ubuntu18.04（win10上三者对应的版本太少了，强烈建议转ubuntu，后续会补一个ubuntu系统安装教程）版本：Cuda11.3/Cudnnv8.2.1(for11.x)/TensorRT8.2

为往圣继绝学！·2023-01-20 01:08

生成tensorrt引擎错误记录-yolov5

warning:‘nvinfer1::Dims::type’isdeprecated[-Wdeprecated-declarations]note:TRT_DEPRECATEDDimensionTypetype[MAX_DIMS];//!,nvinfer1::Weights>&,nvinfer1::ITensor&,std::__cxx11::string,float):Assertion`sca

Coding-Prince·2023-01-20 01:37

yolov5-deepsort python转c++全流程

一、配置tensorrt见之前写的另一篇博客二、项目代码下载1、c++项目代码——用于最后进行推理gitclonehttps://github.com/RichardoMrMu/yolov5-deepsort-tensorrt.git2

为往圣继绝学！·2023-01-20 01:00

【支线】输电杆塔识别-YOLO v5在Aidlux的部署

目录0.前言1.模型训练1.1任务描述1.2输电杆塔数据集采集1.3输电杆塔数据集标注1.4数据增强1.5折腾1.6训练1.7测试2.NX部署2.1软硬件2.2TensorRT优化推理2.3ROSTopic

DCcsdnDC·2023-01-19 21:08

收藏 | YOLOX模型部署、优化及训练全过程

SophiaCV·2023-01-19 14:40

Win10 系统下部署yolov5-V6.0版本的tensorrt加速推理环境（保姆级填坑版）

Win10系统下部署yolov5-V6.0版本的tensorrt加速推理环境（保姆级填坑版）前言cuda：ComputeUnifiedDeviceArchitecture，是一种有NVIDIA推出的通用并行计算架构

工控90·2023-01-19 13:55

深度学习应用部署

深度学习部署部署模型部署简要介绍模型部署简介TensorRT部署TensorRT推理TensorRT优化多线程多进程pythonGIL多线程多进程协程实现方式threading实现多线程multiprocess

RyanC3·2023-01-19 12:47

经验 | 在C++平台上部署PyTorch模型流程+踩坑实录

计算机视觉工坊”，选择“星标”干货第一时间送达作者丨火星少女@知乎来源丨https://zhuanlan.zhihu.com/p/146453159编辑丨计算机视觉联盟最近因为工作需要，要把pytorch的模型部署到

Tom Hardy·2023-01-19 06:12

TensorRT7 Onnx模型动态多batch问题解决

升级到Tensort7,ONNX模型创建网络和预测都需要用V2版本。需要动态的使用batch_size需要做一些额外的操作。创建模型constautoexplicitBatch=1U(NetworkDefinitionCreationFlag::kEXPLICIT_BATCH);INetworkDefinition*network=builder->createNetworkV2(explicit

weixin_45415546·2023-01-18 23:57

[EdgeAI] NXP eIQ 机器学习Toolkit （二）：模型篇

NXPeIQ机器学习Toolkit（二）：模型篇1.模型选择2.模型训练3.模型评估4.模型导出5.模型部署博主热门文章推荐：书接上篇：[EdgeAI]NXPeIQ机器学习Toolkit（一）：准备篇1

HowieXue·2023-01-18 23:26

mmdeploy源码安装 (转换faster rcnn r50/yolox为tensorrt，并进行推理)

目录：0️⃣mmdeploy源码安装(转换fasterrcnnr50/yolox为tensorrt，

gy-7·2023-01-18 20:11

MMDetection2.17-权重模型转推理模型(pth转onnx)详细步骤及前向推理(Win10、Linux均适用)

方便部署：转为onnx格式的模型后，就可以不需要依赖mmdetection框架部署模型，同时也作为tensorRT格式的过渡模型。

@会飞的毛毛虫·2023-01-18 20:11

通过管道与网格搜索实现机器学习算法的自动化

管道使用sklearn的pipeline方法，可以将从数据预处理、特征提取到模型部署等组件拼装在一起，形成一条算法链。要求是这些组件都具有transfomr方法，从而实现数据的转换。

perSistence92·2023-01-18 20:06

【mmdeploy】mmseg转ONNX/TensorRT，附推理代码

目录1.关于mmdeploy2.环境安装2.1预编译安装（Linux-x86_64,CUDA11.x,TensorRT8.2.3.0）：2.2预编译安装（Linux-x86_64,CUDA11.x,ONNX

zy_destiny·2023-01-18 19:31

在Colab中监测GPU显存占用方法

在Colab中监测GPU显存占用的方法 1.氪金，ColabPro，开两个Terminal，一个运行，一个监视显存 2.用wandb库importwandbwandb.init(project='tensorrt2

DW_CK·2023-01-18 18:27

视觉进阶笔记开源 | AI计算机视觉全栈知识总结

集智书童星球简介【集智书童——知识星球】主要切入图像识别、2D目标检测、2D语义分割、实例分割、全景分割、姿态估计、车道线检测、3D目标检测、NerF、扩散模型、目标跟踪、AI模型部署、模型PTQ与QAT

人工智能与算法学习·2023-01-18 17:10

视觉大模型调研(Survey of Visual Foundation Model)

大模型产业化落地的理论支撑3.视觉模型架构的形成-Transformer到ViT再到MAEC.产业落地化现状1.百度文心UFO2.0整体概述原理介绍模型效果应用场景与方案2.华为盘古CV视觉大模型模型预训练模型部署与模型迭代

是魏小白吗·2023-01-18 12:29

win10+CUDA11.1+cudnn11.1+TensorRT8.0开发环境搭建

一、安装包文件准备设备及软件版本设备名称DESKTOP-71FDQV3处理器12thGenIntel(R)Core(TM)i5-12600K3.70GHz机带RAM16.0GB(15.8GB可用)设备ID0FEB664E-6D33-405C-97E8-1D5D1571887B产品ID00326-60000-00000-AA145系统类型64位操作系统,基于x64的处理器笔和触控没有可用于此显示器的

SongpingWang·2023-01-18 11:06

Ubuntu 18.04安装nvidia驱动、cuda、cudnn、tensorrt

Ubuntu18.04安装nvidia驱动、cuda、cudnn、tensorrt补充:ubuntu22.04搭建pytorch环境1、安装nvidia驱动，需要重启生效nvidia-smi#查看驱动信息

AI_潜行者·2023-01-18 11:36

cuda cudnn tensorrt

cudnn官方链接cuDNNArchive|NVIDIADevelopercuda官方链接CUDAToolkitArchive|NVIDIADevelopertensorrt官方链接NVIDIATensorRTDownload

broad-sky·2023-01-18 11:05

Ubuntu 安装cuda、cuDNN、tensorrt

一、安装cuda说明：强烈建议深度学习玩家使用官方方式安装驱动，不然后面可能会出现各种环境问题。1.从链接中选择合适版本下载.https://developer.nvidia.com/cuda-toolkit-archive2.根据对应版本的官方提示安装.3.查看是否安装成功sudodpkg-l|grepcuda二、安装cuDNN1.从链接中选择合适版本下载.https://developer.n

Elk-y·2023-01-18 11:03

2021-04-16

超详细windows10安装tensorrt7（环境cuda11.1+cudnn11+torch1.7）一：下载TensorRT注意一定要版本匹配，安装环境windows10+cuda11.1+cudnn11

neverayever·2023-01-18 11:33

Win10+cuda11.3+cudnn8.2.1+TensorRT8.4.0环境搭建

一、安装cudnn和tensorRT需要下载的文件：cuda11.3下载地址：CUDAToolkit11.3Downloads|NVIDIADeveloper（以下内容默认已经安装了cuda）cudnn

前尘昨夜此刻·2023-01-18 11:02

计算机视觉框架与OpenCV框架

传统计算机视觉框架：Matlab,Matrox,Halcon,OpenCV,VisionPro深度学习计算机是视觉框架OpenVINO,TensorRT,onnxruntime,Deepface,YOLO

就是想读个研究生·2023-01-18 10:43

知识蒸馏简介

知识蒸馏知识蒸馏简介蒸馏作用背景主要是为了减少模型计算量，降低模型复杂度，减少需要的计算资源模型压缩基本方法：裁剪为什么要进行知识蒸馏当前深度学习模型参数越来越多，规模越来越大，在处理数据和模型部署的时候

hblg_bobo·2023-01-18 09:16

【模型部署】Pytorch-＞ONNX-＞trt

1.电脑环境主要注意cuda、cudnn、pytorch、tensorrt、onnx、onnxruntime的版本。

mjiansun·2023-01-18 08:24

一行代码加速Pytorch推理速度6倍

一行代码加速Pytorch推理速度6倍Torch-TensorRT是PyTorch的集成，它利用NVIDIAGPU上的TensorRT推理优化。

扫地的小何尚·2023-01-17 14:36

推荐频道

模型部署（tensorRT)