tensorRt 第2页

心法利器[107] onnx和tensorRT的bert加速方案记录

心法利器本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。2023年新一版的文章合集已经发布，获取方式看这里：又添十万字-CS的陋室2023年文章合集来袭，更有历史文章合集，欢迎下载。往期回顾心法利器[102]|大模型落地应用架构的一种模式心法利器[103]|大模型badcase修复方案思考心法利器[104]|基础RAG-向量检索

机智的叉烧·2024-02-19 12:49

jetson orin nano 使用yolov8导出engine

1.导出onnx经过前面训练，得到了best.pt模型，现在想要使用tensorrt进行推理，需要先导出为onnx格式，再转化为engine格式。

coder攻城狮·2024-02-12 02:36

TensorRT下载安装

TensorRT下载安装一下载地址https://developer.nvidia.com/nvidia-tensorrt-8x-download版本8.2.3GA(成熟稳定版)和8.4.0EA（新功能测试版

Jumy_S·2024-02-11 20:29

安装使用MMDeploy（Python版）

Python版）一安装MMDeploypythonmmdeploy-main/tools/deploy.pymmdeploy-main/configs/mmdet/detection/detection_tensorrt_dynamic

*Major*·2024-02-09 15:01

Stable Diffusion教程——使用TensorRT GPU加速提升Stable Diffusion出图速度

概述Diffusion模型在生成图像时最大的瓶颈是速度过慢的问题。为了解决这个问题，StableDiffusion采用了多种方式来加速图像生成，使得实时图像生成成为可能。最核心的加速是StableDiffusion使用了编码器将图像从原始的3512512大小转换为更小的46464大小，从而极大地降低了计算量。它还利用了潜在表示空间（latentspace）上的Diffusion过程，进一步降低了计

知来者逆·2024-02-09 08:43

yolov5 torch转tensorrt详解【推荐】

里面找到defexport_engine(model,im,file,half,dynamic,simplify,workspace=4,verbose=False,prefix=colorstr('TensorRT

Teng-Sun·2024-02-09 07:36

mmdetection模型转onnx和tensorrt实战

一,说明1.本次实战使用的是mmdetection算法框架中的Cascase-Rcnn训练的模型；2.模型转换时,运行环境中各种工具的版本要保持一致；3.TensorRT我一直装不上,我用的是镜像环境.

dream_home8407·2024-02-07 19:45

Jetson AGX Orin安装Anaconda，Cuda，Cudnn，pytorch，Tensorrt，ROS

Anaconda：https://repo.anaconda.com/archive/Cuda：https://forums.developer.nvidia.com/t/pytorch-for-jetson/720481：安装Anaconda3下载：Anaconda3-2021.11-Linux-aarch64.shchmod+xAnaconda3-2021.11-Linux-aarch64.s

枭玉龙·2024-02-07 12:38

Jetson Xavier NX CUDA、cuDNN、TensorRT与Pytorch环境配置

331阅读3,854torch与vision源码安装包下载链接：https://pan.baidu.com/s/1mrIgGoMo0bq6otGhlh-E3A提取码：6sb31.Cuda、CuDNN和TensorRT

想努力的人·2024-02-07 08:07

orin nx 安装paddlespeech记录

nx配置：模块版本说明CPU8核内存16GCuda版本11.4Opencv版本4.5.4Tensorrt版本5.1Cudnn版本8.6.0.166Deepstream版本6.2Python版本3.8算力

想努力的人·2024-02-07 08:35

从零开始 TensorRT（3）Python 篇：解析 ONNX、PyTorch TensorRT 接口

前言学习资料：TensorRT源码示例官方文档：WorkingWithTensorRTUsingThePythonAPI官方文档：TensorRTPython官方文档：CUDAPythonB站视频教程视频配套代码

秋山丶雪绪·2024-02-05 14:58

从零开始 TensorRT（2）Python 篇：原生 API 构建网络

前言学习资料：TensorRT源码示例官方文档：WorkingWithTensorRTUsingThePythonAPI官方文档：TensorRTPythonAPI官方文档：CUDAPythonB站视频

秋山丶雪绪·2024-02-05 14:28

从零开始 TensorRT（4）命令行工具篇：trtexec 基本功能

前言学习资料：TensorRT源码示例B站视频：TensorRT教程|基于8.6.1版本视频配套代码cookbook参考源码：cookbook→07-Tool→trtexec官方文档：trtexec在TensorRT

秋山丶雪绪·2024-02-05 14:27

CUDA/TensorRT部署知识点

qq_41920323·2024-02-05 01:57

周同学文章汇总

目录前言1.C++2.Linux3.环境配置4.AlgoC++5.Makefile6.模型部署7.tensorRT从零起步高性能部署8.保姆级从零手写自动驾驶CV9.剪枝与重参10.量化11.国内首个BVE

爱听歌的周童鞋·2024-02-04 19:23

八. 实战：CUDA-BEVFusion部署分析-学习spconv的优化方案(Implicit GEMM conv)

ExplicitGEMMConv3.ImplicitGEMMConv4.ImplicitGEMMConv优化5.spconv和ImplicitGEMMConv总结下载链接参考前言自动驾驶之心推出的《CUDA与TensorRT

爱听歌的周童鞋·2024-02-04 19:51

工程经验分享 Incremental FastPitch

1.基于FastPitch+Hifi-GAN的StreamingTTS效果优化NVIDIA在TTS领域也做了一些供大家参考的工作，例如提供了高效的流式TTS部署方案，利用TensorRT加速模型推理速度

语音之家·2024-02-04 05:46

tensorRt加速tensorflow模型推理（inception V3为例）

摘要在一个人工智能大爆发的时代，一个企业不来点人工智能都不好意思说自己是科技企业。随着各公司在各自领域数据量的积累，以及深度学习的强拟合特点，各个公司都会训练出属于自己的模型，那么问题就来了，你有模型，我也有模型，那还比什么？对，就是速度，谁的速度快，谁就厉害。引言tensorflow作为谷歌开源的深度学习神器，被学界以及业界广泛的推广，本文就不做过多的介绍，如有需要可以参考如下链接link1li

鱼香土豆丝·2024-02-03 18:56

pytorch gpu推理、onnxruntime gpu推理、tensorrt gpu推理比较，及安装教程，有详细代码解释

需要下载的测试用的文件测试图片：https://upload.wikimedia.org/wikipedia/commons/2/26/YellowLabradorLooking_new.jpg-Odog.jpg类别文件：https://raw.githubusercontent.com/Lasagne/Recipes/master/examples/resnet50/imagenet_class

idealmu·2024-02-03 13:16

深度学习模型试跑(十七):Depth-Anything

和别人一起合作写的tensorrt版本，已发布在github上，欢迎点⭐https://github.com/spacewalk01/depth-anything-tensorrt根据项目的星标⭐数量，

(～o▔▽▔)～o o～(▔▽▔o～)·2024-02-02 15:54

YOLOv8-Segment C++

YOLOv8-SegmentC++https://github.com/triple-Mu/YOLOv8-TensorRT这张图像是运行yolov8-seg程序得到的结果图，首先是检测到了person、

笨小古·2024-02-02 05:32

colab中搭建tf-trt环境——解决TensorRT版本匹配问题

colab中搭建tf-trt环境——解决TensorRT版本匹配问题可行的环境版本匹配：Ubuntu18.04cuda11.1cudnn8python3.7tensorflow-gpu2.7.0TensorRT7.2.2pycuda2021.1

小稻壳·2024-02-02 04:26

【深度学习】SDXL TensorRT Dockerfile Docker容器

文章目录过程SDXLTensorRT构建SDXLTensorRTLCM调度器过程dockerpushkevinchina/deeplearning:cuda12.1torch2.1.1FROMnvidia

XD742971636·2024-02-01 19:49

在Jetson Xavier NX上制作YOLov5.5.0的镜像

在JetsonXavierNX上制作YOLov5.5.0的镜像1、环境介绍（使用jtop进行查看）CUDA:10.2.300cuDNN:8.2.1.32TensorRT:8.0.1.32Opencv:4.1.1

宁德杰出青年代表·2024-01-30 20:53

YOLOv8实例分割实战：TensorRT加速部署

TensorRT是针对英伟达GPU的加速工具。本课程讲述如何使用TensorRT对YOLOv8实例分割进行加速和部署，实测推理速度提高3倍以上。

bai666ai·2024-01-30 17:31

WhisperBot：整合了Mistral大型语言模型的实时语音转文本系统

Mistral和Whisper都经过优化，可作为TensorRT引擎高效运行，从而最大限度地提高性能和实时处

语音之家·2024-01-30 10:14

yolov8数据标注、模型训练到模型部署全过程

x-anylabeling）1.安装方式1.1直接通过Releases安装1.2clone源码后采用终端运行2.如何使用二、模型训练三、模型部署3.1onnx转engine3.2c++调用engine模型3.2.1main_tensorRT.cpp3.2.2segmentationModel.cpp

只搬烫手的砖·2024-01-30 09:09

实践torch.fx第一篇——基于Pytorch的模型优化量化神器

torch.fx今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：什么是torch.fx基于torch.fx做量化基于torch.fx量化部署到TensorRT

OLDPAN·2024-01-29 00:21

TensorRT英伟达官方示例解析（二）

系列文章目录TensorRT英伟达官方示例解析（一）TensorRT英伟达官方示例解析（二）TensorRT英伟达官方示例解析（三）文章目录系列文章目录前言一、03-BuildEngineByTensorRTAPI1.1

小豆包的小朋友0217·2024-01-27 00:55

TensorRT英伟达官方示例解析（三）

系列文章目录TensorRT英伟达官方示例解析（一）TensorRT英伟达官方示例解析（二）TensorRT英伟达官方示例解析（三）文章目录系列文章目录前言一、04-BuildEngineByONNXParser

小豆包的小朋友0217·2024-01-27 00:55

TensorRT英伟达官方示例解析（一）

系列文章目录TensorRT英伟达官方示例解析（一）TensorRT英伟达官方示例解析（二）TensorRT英伟达官方示例解析（三）文章目录系列文章目录前言一、参考资料二、配置系统环境三、00-MNISTData

小豆包的小朋友0217·2024-01-27 00:25

大模型部署手记（22）Ubuntu+TensorRT-LLM+通义千问

阅读了https://zhuanlan.zhihu.com/p/662406460张小白不禁打开了这个链接：GitHub-Tlntin/Qwen-7B-Chat-TensorRT-LLM看了下环境：貌似不难满足

张小白TWO·2024-01-26 16:26

模型推理加速系列 | 08：TensorRT-LLM助力LLM高性能推理

引言日暮苍山远，天寒白屋贫。CreatedbyDALL·E3小伙伴们好，我是《小窗幽记机器学习》的小编：卖汤圆的小女孩，今天是冬至，祝福小伙伴们幸福安康吧。紧接前文：万字长文细说ChatGPT的前世今生Llama2实战(上篇):本地部署(附代码)Llama2实战(下篇)-中文语料微调(附代码)CodeLlama实战(上篇)-模型简介和评测CodeLlama实战(下篇)-本地部署、量化及GPT-4对

JasonLiu1919·2024-01-26 16:24

成功编译TensorRT-LLM

1.准备工作启动已下载的docker镜像，查看编译TRT-LLM的主要依赖项版本OS:Ubuntu22.04cuda：12.2cudnn:8.9.4tensorrt:9.1.0python:3.

有来有去9527·2024-01-26 16:53

使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践

本文首发于NVIDIA一、概述CodeFuse（https://github.com/codefuse-ai）是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。为了在下游任务上获得更好的精度，CodeFuse提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现

CodeFuse·2024-01-26 16:23

TensorRT-9.0和TensorRT-LLM马上要发布了！

作者|Oldpan编辑|oldpan博客点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群本文只做学术分享，如有侵权，联系删文TensorRT

自动驾驶之心·2024-01-26 16:52

TensorRT-LLM在CodeFuse-CodeLlama-34B上的int4量化实践

01概述本文档是利用TensorRT-LLM(earlyaccess)对CodeFuse-CodeLlama-34B进行int4量化的实践（注：TensorRT-LLM(GA)已发布）。

CodeFuse·2024-01-26 16:52

TensorRT-LLM Docker镜像制作

依赖：TensorRT9.1.0.4docker版本23.08步骤：1.宿主机联网，启动容器，容器内也要联网启动镜像的方法：2023-10-2609:07:57dockerrun--gpusall-it

美洲大蠊很顽强·2024-01-26 16:22

TensorRT-LLM的AutoDL部署

安装cudawgethttps://developer.download.nvidia.com/compute/cuda/12.2.1/local_installers/cuda_12.2.1_535.86.10_linux.runchmod+xchmod+xcuda_12.2.1_535.86.10_linux.run./cuda_12.2.1_535.86.10_linux.run安装cudn

wwwsctvcom·2024-01-26 16:21

【TensorRT】关于8.6版本开始的硬件兼容性的一些试错

有关tensorRT8.6版本的硬件兼容性的笔记1、背景2、说明书解读3、api调用说明c++api说明1、背景在工业应用中，边缘端的部署通常需要发布到不同的硬件，在自己的电脑上生成的模型，往往会因为与其他设备的显卡型号不同架构不同的问题

澄鑫·2024-01-26 08:39

大语言模型推理提速：TensorRT-LLM 高性能推理实践

作者：顾静TensorRT-LLM如何提升LLM模型推理效率大型语言模型（Largelanguagemodels,LLM）是基于大量数据进行预训练的超大型深度学习模型。

阿里云云原生·2024-01-25 13:00

TVM安装

为什么选择TVM为提升深度学习模型的推理效率，设备平台制造商针对自己的平台推出优化的推理引擎，例如NAVIDA的tensorRT，Intel的OpenVINO，Tencent针对移动端应用推出NCNN等

血_影·2024-01-23 06:20

TensorRT部署--Linux(Ubuntu)环境配置

系列文章目录TensorRT环境配置–Linux(Ubuntu)文章目录系列文章目录前言一、环境配置二、CUDA下载安装三、cuDNN下载安装四、TensorRT下载安装五、模型创建总结前言TensorRT

小豆包的小朋友0217·2024-01-23 06:04

yolov5 opencv dnn部署 github代码

yolov5opencvdnn部署github代码源码地址实现推理源码中作者的yolov5s.onnx推理条件python部署(因为python比较简单就直接介绍了)c++部署参考链接源码地址yolov5官网还提供的dnn、tensorrt

yuanjun0416·2024-01-23 04:17

yolov5 opencv dnn部署自己的模型

yolov5opencvdnn部署自己的模型github开源代码地址使用github源码结合自己导出的onnx模型推理自己的视频推理条件c++部署c++推理结果github开源代码地址yolov5官网还提供的dnn、tensorrt

yuanjun0416·2024-01-23 04:15

【STR文字识别项目】之最新SOTA项目PARSeq（二）转TensorRT并用C++调用

NPC里的玩家·2024-01-22 09:05

安装tensorrt环境在linux上

在linux上输入命令bashcat/etc/os-release命令查看系统版本nvidia-smi命令后有内容弹出而没有报错,表明系统中安装了NVIDIA显卡驱动，并且该命令成功地显示了有关NVIDIAGPU的信息。输入nvcc-V并且看到输出时,这表明您的系统中已经安装了NVIDIA的CUDA工具包，并且该命令成功地显示了CUDA编译器版本的信息这里是租的ubuntu远程服务器gpu版本，所

bug生成中·2024-01-21 08:41

【小白向】MMDeploy安装部署|暗坑标注版

文章目录序言正文1安装PPLCV2TensorRT环境相关3编译MMDeploy4编译SDK结束序言本文主要针对在编译安装OpenMMLab团队的MMDeploy模型部署工具时遇到的“难以下手”的问题。

早上真好·2024-01-20 22:22

tensorrtx-yolo版tensorrt环境安装

环境介绍Win10Cuda11.2Tensorrt8.6Visualstudio2019Opencv4.8Cmake3.17.1需要现在v5+tensorrx的源码https://github.com/

bug生成中·2024-01-20 10:51

Jetson AGX Orin安装Anaconda、Cuda、Cudnn

目录一、安装Anaconda二、conda换源三、Cuda、Cudnn安装四、jtop安装五、查看安装情况六、cuDNN环境配置七、pytorch安装八、安装torchvision九：Tensorrt安装拿到一台

盛世芳华·2024-01-20 07:28

推荐频道

tensorRt