模型部署（tensorRT) 第37页

Jetson AGX Xavier进行边缘端算法环境配置、OpenCV和TensorRT配置

JetsonAGXXavier移植和部署深度学习算法，需要依赖cuda、cudnn、tensorrt、opencv等库，不过好在jetpack包含了上述所有环境，无需额外编译opencv或者tensorrt

MidasKing·2022-12-28 13:14

掌握Pytorch模型压缩裁剪与量化

权重压缩模型在训练时使用的模型权重类型为float32，而在模型部署时则不需要高的数据精度。可以将类型转换为float16进行保存，这样可以降低45%左右的权重大小。

Coggle阿水·2022-12-28 10:44

No toolchains found in the NDK toolchains folder for ABI with prefix: arm-linux-androideabi

yolov5模型部署NCNN到Android端时报错开发NDK遇到的问题1.原因分析：最新版ndk（version=25.1.8937393）的toolchains文件夹中无arm-linux-androideabi

拉莫帅·2022-12-28 09:55

使用tensorrt 加速Ultra-Fast-Lane-Detection项目

使用tensorrt加速Ultra-Fast-Lane-Detection项目运行环境：项目主机版本(onubuntu18.04)AGX版本(Jetson4.3)cuda10.010.0.130-cudnn77.6.5.32

不知道起啥名_·2022-12-28 01:26

INT8量化原理理解

INT8量化的深入理解参考量化几连问INT8量化原理INT8量化目的不饱和（最大值）映射饱和映射INT8量化流程TensorRT的INT8量化TensorRTINT8量化过程编写Calibration器

Activewaste·2022-12-27 17:23

int8量化--调研

，如MobileNet系列、shuffleNet系列、VoVNet等；从大的模型开始通过量化、剪裁、蒸馏等压缩技术实现网络的小型化；在inference阶段使用特殊的计算库实现计算的加速，比如MKL、TensorRT

assassin_sword·2022-12-27 17:23

一文了解模型量化中的QAT和PTQ

一文了解模型量化中的QAT和PTQ由于前一段时间在做模型的转换工作，实际部署的时候需要一些模型加速的方法，常用的有各家的inference框架，如mnn,tnn,tensorrt等，这些框架除了fp32

菜鸟滚滚·2022-12-27 17:53

Tensorrt_Algorithm Selection API usage example based off sampleMNIST in TensorRT

[tensorRT中基于sampleMNIST的算法选择API使用示例]1descriptionIAlgorithmSelector：使用该插件确切的创建TRTenginesIAlgorithmSelector

谢欣燕·2022-12-27 10:56

TensorRT实战

1.背景目前主流的深度学习框架（caffee，mxnet，tensorflow，pytorch等）进行模型推断的速度都并不优秀，在实际工程中用上述框架进行模型部署往往是比较低效的。

谢欣燕·2022-12-27 10:55

TensorRT开发者手册（3）使用TensorRT的PythonAPI

–2020/11/25Chapter3.UsingThePythonAPI该部分主要讲的是NVIDIA®TensorRT™用户目标和任务以及如何使用PythonAPI来实现。

xiyou_1996·2022-12-27 10:55

Working With TensorRT Using The Python API

以下部分将重点介绍使用PythonAPI可以执行TensorRT用户的目标和任务。这些部分主要讨论在没有任何框架的情况下使用PythonAPI。

weixin_39538789·2022-12-27 09:24

【理论知识】实际部署中tensorrt的简单理解

因为各种项目的原因，其实已经用过一段时间tensorrt了，但是一直没仔细梳理过理论知识了，在b站刷到官方教程，写个博客梳理一下tensorrt基础知识和开发流程。

qqsuiying·2022-12-27 09:21

TensorRT笔记(3)使用C++ API

目录2.1在C++中实例化TensorRT对象2.2在C++中创建网络定义2.2.1使用C++API从头开始创建网络定义2.2.2在C++中使用解析器导入模型2.2.3使用C++ParserAPI导入Caffe

这里是zzh·2022-12-27 09:48

基于tensorrt的车道线检测lane_detection，实现从pth模型转engine模型，在通过tensorrt加载engine全过程

基于tensorrt的车道线检测lane_detection，实现从pth模型转engine模型，在通过tensorrt加载engine全过程问题以及解决方案如何运行代码学习参考代码实例讲解将低版本tensorrt

鼾声鼾语·2022-12-27 09:17

TensorRT(3)-C++ API使用：mnist手写体识别

本节将介绍如何使用tensorRTC++API进行网络模型创建。1使用C++API进行tensorRT模型创建还是通过tensorRT官方给的一个例程来学习。还是mnist手写体识别的例子。

浩瀚之水_csdn·2022-12-27 09:42

TensorRt（3）mnist示例中的C++ API

目前sample中mnist提供了至少caffe、onnx的预训练模型，在TensorRT经过优化生成engine后再进行infer，两种模型的加载处理略有不同，做出简单api处理说明。

wanggao90·2022-12-27 09:39

MMDetection2系列-(3)-部署

MMDetection2系列-3-部署@[TOC](MMDetection2系列-3-部署)1.PytorchtoONNX2.ONNXtoTensorRT1.PytorchtoONNXpipinstallonnx-simplifierpipinstallonnxruntimepythontools

GeekPlusA·2022-12-26 15:40

安卓NDK开发——基于JNI与NCNN实现深度神经网络口罩佩带检测模型部署

前言1.这是一个是检测人员是否佩戴口罩的的安卓NDK项目，只检测人脸上是否有口罩是，是于检测是否佩戴标准，比如是否盖住嘴巴和鼻子，是否标准的医用的口罩的模型还在优化训练中。项目源码地址：https://download.csdn.net/download/matt45m/852522392.开发环境是win10,IDE是Androidstudio北极狐，用到的库有NCNN,OpenCV，NCNN库

知来者逆·2022-12-26 15:32

实用机器学习-2. 数据预处理

面积检查数字列的最大最小值是否合理过滤掉不正常值的列可视化方法displotsubplots/heaetmapboxplot2.数据清洗流程图2.1数据错误缺值、错误、极端值好的ML模型对错误容忍度很高，但是会影响精度把错误的模型部署在线上会影响新收集到的数据质量

11408考研休息室·2022-12-26 11:25

ubuntu16.04一步到位安装CUDA10.02、PyTorch、PaddlePaddle、TensorRT

文章目录原始驱动卸载CUDA安装CUDNN配置驱动安装PyTorch安装PaddlePaddle安装TensorRT安装备注由于很多框架和套件停止了10.0的支持，将原始已安装完成的cuda10.0的服务器重新配置

DeepHao·2022-12-26 11:53

『NVIDIA』JETSON XAVIER NX DEVELOPER KIT学习笔记

最近需要将自定义的TensorFlow模型部署在JETSONXAVIERNXDEVELOPERKIT，这里记录一些如何安装TensorFlow以及OpenCV的方法英伟达开发板JETSONXAVIERNXDEVELOPERKIT

DeepHao·2022-12-26 11:22

Transformers文本分类微调和TensorRT推理加速

Transformers文本分类微调和TensorRT推理加速本文介绍了使用Transformers模块微调文本分类模型，以及模型转pth格式，进而转为onnx格式和TensorRT的engine格式，

NLP小讲堂·2022-12-26 08:39

Caffe中BN层与CONV层的融合（merge_bn）

代码质量也莫得保证今天需要用pytorch融合下bn层，写个脚本稍后再传到csdn上原理BN层的融合即为将caffe中BN层与Scale层融合进Convolution的权重之中，把三层减少为一层，适用于训练完成的模型部署阶段

心态已炸_沉迷学习·2022-12-26 07:30

【轻量卷积】组卷积（GC）、深度可分离卷积（DSC）与异构卷积（HC）（Pytorch实现）

为了提高网络性能，目前的研究趋向于更深，更复杂的网络，ImageNet刷分的前几名网络的参数量也非常巨大，没有高性能GPU的玩家只有长太息以掩涕兮了，然而，目前嵌入式设备和移动平台对深度学习模型部署的大量需求

风巽·剑染春水·2022-12-26 00:47

服务器开发系列（二）——Jetson Xavier NX

系列文章目录服务器开发系列（一）——计算机硬件文章目录系列文章目录服务器开发系列（一）——计算机硬件前言一、硬件情况二、操作系统安装三、操作系统的备份与恢复四、预装软件工具1.CUDA简介2.DeepStream简介3.TensorRT

马•晓·2022-12-25 19:10

Jetson NX emmc版本系统转移到SSD

因emmc版本的NX自带内存不够大，只有16GB（手上的是这个型号），安装系统大概需要除去4G多内存，再安装CUDA,cuDNN,TensorRT等内存直接爆满,无法继续使用。

GNNUXXL·2022-12-25 19:40

DJL Java环境下部署pytorch模型推理

由于大数据基本都是Java环境，希望与深度学习结合的话，需要将深度学习模型部署在Java环境下。传统方式使用flask搭建接口，在Java环境中对其调用，但通信时间和内存问题限制了这种方式的发展。

陈末的无涯·2022-12-25 13:49

Python Apex YOLO V7 main 目标检测全过程记录

博文目录文章目录环境准备YOLOV7main分支TensorRT环境工程源码假人权重文件toolkit.py测试.实时检测.pygrab.for.apex.pylabel.for.apex.pyaimbot.for.apex.py

mrathena·2022-12-25 07:04

Windows Python PyTorch CUDA 11.7 TensorRT 环境配置

博文目录文章目录版本说明版本选择下载代码创建并激活虚拟环境使用CPU推理安装工程运行的最少依赖运行detect.py使用NvidiaGPU推理安装PyTorchCUDA环境运行detect.py安装TensorRT

mrathena·2022-12-25 07:57

ICLR2022：基于退化缓解兼容训练的热刷新模型升级，在图片检索中的应用丨AIDrive

在传统的检索模型升级过程中，需要先用新模型离线刷新底库中的所有特征（称之为特征“回填”），再将新模型部署上线，这一过程被称之冷刷新模型升级。

数据实战派·2022-12-24 20:05

30行代码用streamlit构建你的机器学习模型应用

英文说明：Afasterwaytobuildandsharedataapps先看一个极简的效果，将一个文本情感分类的模型部署在了HuggingFace的Space托管页面了。

Python_Ai_Road·2022-12-24 20:13

ubuntu 18.04 安装cuda 10.0+cudnn 7.6

conda安装cuda和cudnn的一些可能问题用conda维护虚拟环境时，可通过conda来安装cuda和cudnn，但在ubuntu下，安装了tensorRT后，编译sample时，会发生找不到cuda

qianshuqinghan·2022-12-24 15:30

13.TensorRT中文版开发教程-----TensorRT的最佳性能实践与性能调优

TensorRT的最佳性能实践点击此处加入NVIDIA开发者计划13.1.MeasuringPerformance在开始使用TensorRT进行任何优化工作之前，必须确定应该测量什么。

扫地的小何尚·2022-12-24 12:11

使用TensorRT加速超分辨率模型Real-ESRGAN

IntroductionTensorRT是NVIDIA提供在其GPU上进行推理加速的工具。

snoopy_21·2022-12-24 11:11

Pytorch转onnx详解

知乎来源丨https://zhuanlan.zhihu.com/p/272767300转自|极市平台导读本文作者总结了自己参与Pytorch到ONNX的模型转换转换工作中的经验，主要介绍了该转换工作的意义，模型部署的路径以及

小白学视觉·2022-12-24 09:56

Pytorch~ONNX

python转的,之前有个帖子了讲的怎么操作,这个就是在说说为什么这么做~~~（1）Pytorch转ONNX的意义一般来说转ONNX只是一个手段，在之后得到ONNX模型后还需要再将它做转换，比如转换到TensorRT

whaosoft143·2022-12-24 09:25

怎样将YOLOv5部署到移动端报错：name ‘SPPF‘ is not defined

问题描述：ultralytics发布的yolov56.0版本中已经加入了export.py文件可以将训练好的模型.pt转换为.tflite格式的轻量化模型部署在Android端，但是注意6.0版本当前代码只能转换

qq_41799012·2022-12-24 09:14

TensorRT Paser加载onnx 推理使用

参考：https://blog.csdn.net/weixin_42357472/article/details/125333979注意：paser是指trt.OnnxParser加载转化1、环境环境还是是用的docker，参考https://blog.csdn.net/weixin_42357472/article/details/125333979dockerpullnvcr.io/nvidi

loong_XL·2022-12-24 06:16

‘tensorrt.tensorrt.Builder‘ object has no attribute ‘max_workspace_size‘

mmclassification模型转换时出现’tensorrt.tensorrt.Builder’objecthasnoattribute'max_workspace_size’问题tensorrt8.0

SYC_MORE·2022-12-24 06:13

‘tensorrt.tensorrt.Builder‘ object has no attribute ‘build_cuda_engine‘

问题简述：AttributeError:'tensorrt.tensorrt.Builder'objecthasnoattribute'build_cuda_engine'原因：tensorrt版本大于等于

野草.·2022-12-24 06:43

TensorRT setMaxWorkspaceSize的含义

NVIDIA的官方入门博客有两段说的比较详细TensorRTallowsyoutoincreaseGPUmemoryfootprintduringtheenginebuildingphasewiththesetMaxWorkspaceSizefunction.IncreasingthelimitmayaffectthenumberofapplicationsthatcouldsharetheGPU

冬日and暖阳·2022-12-24 06:43

torch2trt报错no attribute‘max_workspace_size‘的解决方案(附文件)

torch2trt报错AttributeError:‘tensorrt.tensorrt.Builder‘objecthasnoattribute‘max_workspace_size‘torch2trt

IT_ROBOT·2022-12-24 06:13

设置builder.max_workspace_size的意义

-TensorRT-NVIDIADeveloperForumsmaximumworkspace限制了模型中任何层可以使用的内存数量。这并不意味着如果设置1<<30，就会分配1GB内存。

旺旺棒棒冰·2022-12-24 06:42

使用tensorrt的一些问题

1.碰到如下报错：[TensorRT]ERROR:INVALID_CONFIG:Theengineplanfileisgeneratedonanincompatibledevice,expectingcompute7.5gotcompute8.6

Daniel大人·2022-12-24 06:10

AttributeError: ‘tensorrt.tensorrt.Builder‘ object has no attribute ‘max_workspace_size‘

TensorRT版本：8.4从网上下载的代码，运行报错，如上述标题。

qxq_sunshine·2022-12-24 06:39

Pytorch——模型的读取和存储

简述我们有时需要把训练好的模型部署到很多不同的设备。在这种情况下，我们可以把内存中训练好的模型参数存储在硬盘上供后续读取使用。

phac123·2022-12-24 06:04

PyTorch 模型读取和存储

需要把训练好的模型部署到很多不同的设备。

下雨天吃火锅哩·2022-12-24 06:33

极智开发 | TensorRT8 vs TensorRT7 接口增删汇总

欢迎关注我的公众号[极智视界]，回复001获取Google编程规范 O_o >_< o_O O_o ~_~ o_O 本文汇集了一些TRT8对比TRT7增删的接口，可能不是并非完整。 TRT8相对于TRT7的改动还是有一些，特别是plugin部分，以下记录一下。文章目录1、移除的方法2、添加的新方法1、移除的方法 CoreLibrary：DimensionTypeDims::TypeclassDi

极智视界·2022-12-23 23:09

极智AI | TensorRT8 自定义算子 Plugin 实现方法

欢迎关注我的公众号[极智视界]，回复001获取Google编程规范 O_o >_mPluginAttributes;std::stringmNamespace;};3、调用官方给的方法是通过create_plugin去调用custom_plugin，其本质上就是调用custom_plugin，可以按照下面来写：nvinfer1::IPluginV2*clip=newClipPlugin(sca