模型部署（tensorRT) 第9页

【Windows 开发环境配置——NVIDIA 篇】CUDA、cuDNN、TensorRT 三件套安装

CUDA从CUDAToolkitArchive下载相应版本的离线安装包，这里以11.7为例。打开安装包，在安装选项选择自定义模式，点击下一步。在自定义安装选项中，仅选择CUDA组件（其中Nsight相关组件用于代码调试与性能分析），若未安装显卡驱动，选择NVIDIAGeForceExperiencecomponents并点击下一步。可能会出现如下图提示，警告你未安装VisualStudio(可参考

快乐非自愿·2023-11-15 05:01

机器学习模型的部署

原文连接:https://www.jianshu.com/p/ad2bfc08b9e2随着机器学习的广泛应用，如何高效的把训练好的机器学习的模型部署到生产环境，正在被越来越多的工具所支持。

奔跑的大大蜗牛·2023-11-15 04:06

tensorRT加速pytorch模型

pytorch模型保存方法简单的保存方法#保存整个网络torch.save(net,PATH)#保存网络中的参数,速度快，占空间少torch.save(net.state_dict(),PATH)#--------------------------------------------------#针对上面一般的保存方法，加载的方法分别是：model_dict=torch.load(PATH)mo

henyaoyuancc·2023-11-14 18:53

[tensorrt]tensorrt8.0系列下载地址

TensorRT8.0GAUpdate1DocumentationOnlineDocumentationTensorRT8.0GAUpdate1forWindowsZIPpackagesforx86_64ArchitectureTensorRT8.0.3GAforWindows10andCUDA11.3

FL1623863129·2023-11-14 13:41

深度学习算法部署方介绍（笔记）（文章是抄别人的）

常见的离线部署方式有TensorFlowLite、ONNX、TensorRT等。2、在线部署

饿了就干饭·2023-11-14 10:54

jetsonTX2 nx配置tensorRT加速yolov5推理

环境说明Ubuntu18+conda环境python3.9+cuda10.2，硬件平台是Jetsontx2nx前提你已经能运行YOLOV5代码后，再配置tensorRT进行加速。

谏书稀·2023-11-14 00:24

TensorRT安装部署指南（Windows10）

TensorRT安装部署指南时间：2023/11/01说明：本指南针对在装有NVIDIA显卡的Windows10系统的计算机上，安装TensorRT推理加速工具，将pytorch中导出的onnx模型转换为

本初-ben·2023-11-13 20:40

yolov8实例分割Tensorrt部署C++代码，engine模型推理示例和代码详解

接上文中的yolov8-aeg实例分割onnx转engine部分代码详解。本文对yolov8seg实例分割推理部分代码进行详细解不，此部分与常见的不同，后处理部分主要以矩阵处理为主。通过代码注释和示例运行，帮助大家理解和使用。目录代码infer_main.cpputils.hCmakeLists.txt运行示例代码文件夹内容如下。主要包括主程序infer_main.cpp和用到的logging.h

木彳·2023-11-13 18:18

yolov8系列[六]-项目实战-yolov8模型部署android

yolov8系列[六]-项目实战-yolov8模型部署android@[TOC](yolov8系列[六]-项目实战-yolov8模型部署android)参考:YOLOV8部署AndroidStudio

GeekPlusA·2023-11-13 17:36

ubuntu安装tensorrt

首先确认ubuntu、cuda、cudnn版本，在nvidia官网下载相应版本的tensorrt。

选与握·2023-11-13 17:55

Ubuntu下TensorRT的安装和torch2trt的配置及使用

目录1、环境需求2、安装tensorrt7.2.2.33、安装tensorrt7.2.2.34、下载torch2trt5、设置torch2trt6、运行torch2trt的demo错误说明torch2trt

笨鸟未必先飞·2023-11-13 17:54

ubuntu下cmake+cuda+cudnn+tensorRT开发环境配置

Ubuntuaarch64/x86_64opencvcmakeTensorrtubuntu下cmake+opencv+cuda+cudnn+tensorRT开发环境配置

日月明明~·2023-11-13 17:23

tensorrt的配置环境

ubuntu:1804cuda:10.2cudnn:8.04tensorrt:7.1.3.4uyolov5:v3

日作诗歌三千首·2023-11-13 17:53

Ubuntu20.04配置TensorRT

linux20.04+CUDA11.3+cudnn8.2+TensorRT8.0.1.6nvidia-smi显示的CUDA版本和nvcc-V得到的CUDA版本会不一致，nvidia-smi显示的是支持的最高的

Hkj爱学习·2023-11-13 17:21

TensorRT环境配置（2023完整版）

配置TensorRT环境需要配置CUDA、CUDNN、英伟达显卡驱动安装顺序是先英伟达显卡驱动，CUDA，CUDNN，如果已经安装就可以跳过可以用命令查询CUDA和英伟达驱动版本，下载对应的CUDNN：

epic_Lin·2023-11-13 17:18

【环境搭建】在ubuntu上安装TensorRT

【环境搭建】在ubuntu上安装TensorRT安装显卡驱动、CUDA以及cuDNNubuntu上安装TensorRT结语安装显卡驱动、CUDA以及cuDNN【环境搭建】在Ubuntu16.04上安装nvidiaGPU

Zhang_Chen_·2023-11-13 17:47

ubuntu下tensorrt环境配置

文章目录一、Ubuntu18.04环境配置1.1安装工具链和opencv1.2安装Nvidia相关库1.2.1安装Nvidia显卡驱动1.2.2安装cuda11.31.2.3安装cudnn8.21.2.4下载tensorrt8.4.2.4

韩师兄_·2023-11-13 17:16

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）前言量化Post-Training-Quantization

AGI_Player·2023-11-13 11:12

【yolov5】onnx的INT8量化engine

GitHub上有大佬写好代码，理论上直接克隆仓库里下来使用gitclonehttps://github.com/Wulingtian/yolov5_tensorrt_int8_tools.git然后在yolov5

Ye-Maolin·2023-11-12 19:05

亚马逊云AI应用科技创新下的Amazon SageMaker使用教程

借助SageMaker，数据科学家和开发人员可以快速、轻松地构建和训练机器学习模型，然后直接将模型部署到生产就绪托管环境中。它提供了一个集成的Jupyter编写Notebook实例，供您

lqj_本人·2023-11-12 14:40

YOLOv8模型ONNX格式INT8量化轻松搞定

ONNX格式模型量化深度学习模型量化支持深度学习模型部署框架支持的一种轻量化模型与加速模型推理的一种常用手段，ONNXRUNTIME支持模型的简化、量化等脚本操作，简单易学，非常实用。

金戈鐡馬·2023-11-12 12:34

为什么说CUDA是NVIDIA的护城河?

编辑|汽车人原文链接：https://www.zhihu.com/question/564812763点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】

自动驾驶之心·2023-11-12 11:37

大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B

llama.cpp是近期非常流行的一款专注于Llama/Llama-2部署的C/C++工具。本文利用llama.cpp来部署Llama27B大语言模型，所采用的环境为Ubuntu22.04及NVIDIACUDA。文中假设Linux的用户目录（一般为/home/username）为当前目录。安装NVIDIACUDA工具NVIDIA官方已经提供在Ubuntu22.04中安装CUDA的官方文档。本文稍有

SmileyFaceApp·2023-11-12 08:58

魔搭社区LLM模型部署实践，以ChatGLM3为例（一）

魔搭社区LLM模型部署实践，以ChatGLM3为例本文以ChatGLM3-6B为例，主要介绍在魔搭社区如何部署LLM，主要包括如下内容：●SwingDeploy-云端部署，实现零代码一键部署●多端部署-

大模型Maynor·2023-11-12 05:53

Redhat8 安装 cuda11.8 + cudnn 8.6 + trt8.5.3 保姆级教程

详细记录redhat8系统，从0-1安装Cuda,Cudnn,Tensorrt全部过程。

J ..·2023-11-12 03:51

【亲测】ubuntu20.4安装TensorRT

安装TensorRT之前请确保显卡驱动CUDAcuDNN全部成功安装安装CUDA+显卡驱动请参照：【亲测】ubuntu20.4显卡驱动+CUDA11.8一起安装_Coding_C++的博客-CSDN博客安装

勿扰，学习中......·2023-11-11 19:59

SpireCV如何利用TensorRT加速？

TensorRT简介TensorRT是NVIDIA推出的一款高性能的深度学习推理引擎(C++库)。

阿木实验室·2023-11-10 23:41

Using The CuDLA API To Run A TensorRT Engine

UsingTheCuDLAAPIToRunATensorRTEngineTableOfContentsDescriptionHowdoesthissamplework?

卡图卢斯·2023-11-10 22:56

Digit Recognition With Dynamic Shapes In TensorRT

DigitRecognitionWithDynamicShapesInTensorRTTableOfContentsDescriptionHowdoesthissamplework?

卡图卢斯·2023-11-10 22:56

Algorithm Selection API usage example based off sampleMNIST in TensorRT

AlgorithmSelectionAPIusageexamplebasedoffsampleMNISTinTensorRTTableOfContentsDescriptionHowdoesthissamplework

卡图卢斯·2023-11-10 22:19

人工智能模型转ONNX & 连接摄像头使用ONNX格式的模型进行推理

模型部署的通用流程各大厂商都有自己的推理工具。训练的归训练，部署的归部署，人工智能也分训练端和部署端，每一个端操心自己事就好了。

computer_vision_chen·2023-11-10 18:10

RT-Thread上部署TinyMaix推理框架，使MCU赋予AI能力

它是将机器学习和深度学习模型部署到资源有限但功能强大的微控制器中，以实现智能决策和感知。以

Rice嵌入式开发·2023-11-10 18:03

语言大模型推理性能工程：最佳实践

此外，他们还提供了围绕模型部署推理服务的指南，以帮助用户更好地选择模型和部署硬件。他们在生产环境中使用了多个基于PyTorch的后端。

OneFlow深度学习框架·2023-11-10 15:55

yolov8+tensorrt+pyqt5+多线程+鼠标单机放大缩小多路视频监控系统+账户密码验证登录界面（持续开发完善中）

吧我这里算法用的是官方的yolov8s哈，各位大佬可以结合自己的算法转成engine再部署，另外我这里用的转化工具是参考github：https://github.com/triple-Mu/YOLOv8-TensorRT

菜鸡努力变大佬·2023-11-10 12:56

极智项目 | 实战TensorRT部署DETR

欢迎关注我的公众号[极智视界]，获取我的更多经验分享大家好，我是极智视界，本文来介绍实战TensorRT部署DETR。

极智视界·2023-11-09 19:56

支持表格识别，PaddleOCRSharp最新发布

paddle-ocrsharp2.3.0更新内容：1.增加表格识别功能2.同步更新飞桨PaddleOCR最新版本C++代码3.适配paddle_inference预测库到最新2.4.1版本4.识别参数增加use_tensorrt

zls365365·2023-11-09 01:32

使用Azure OpenAI服务创建聊天机器人

在你创建好的OpenAI服务中，依次点击“模型部署

程序猿老罗·2023-11-08 20:28

ChatGLM2-6B，部署及微调

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、模型部署1.下载代码2.下载模型3.建立conda的虚拟环境4.安装环境依赖5.修改模型配置6.执行web_demo.py

rexxa·2023-11-08 20:17

ChatGLM-6B部署、实战与微调

下载模型文件推理代码调用网页版的Demo网页版的Demo2命令行Demo部署API部署低成本部署模型量化CPU部署Mac部署多卡部署训练与微调软件依赖下载数据集训练P-Tuningv2评估P-Tuningv2训练的模型部署

静静AI学堂·2023-11-08 20:45

Yolov8部署——vs2019生成解决方案问题

Yolov8部署——vs2019生成解决方案问题（1）Yolov8部署最近开始在win10上部署Yolov8,并用tensorrt加速，从此贴开始记录后续遇到的部署问题。

李舒木子馨☘·2023-11-08 15:28

使用cmake在win10编译yolov5+tensorRT+cuda+cudnn+protobuf代码进行混合编译

这里进行之前需要把protobuf在win10下编译，可以参考这篇文章从Linux下载下来的工程代码，这里建议直接使用vs系列打开不要用vscode打开，vscode对win下的cmake不友好，主要体现在报错机制无法直接定位，题主的环境是vs2022通过cmake可以快速的进行定位bug，并可以快速解决(vscode的cmake在Linux下还是比较友好的，但是通常如果在Linux下为什么不研究

zsffuture·2023-11-08 09:29

ubuntu下cmake+opencv+cuda+cudnn+tensorRT开发环境配置

ubuntu下cmake+opencv+cuda+cudnn+tensorRT开发环境配置前言cmake安装多版本cuda+cudnn安装及管理cuda10.1+cudnn7.6.5安装cuda10.0

正经学渣·2023-11-08 09:27

基于亚马逊云科技生成式AI，灵境未来实现云上大语言模型训练和推理平台部署

灵境未来的创业团队在机器学习与人工智能领域拥有丰富的经验积累，致力于以最低成本来帮助企业实现私有数据价值的最大化，为行业客户提供从数据准备、模型微调、模型评估、模型部署等服务。通过加入

Zaker科技·2023-11-08 05:01

十月重点回顾：EasyDL八大国产芯片实现模型部署全适配！

10月，EasyDL模型部署国产芯片适配类型丰富度再进一步，新增「飞腾CPU」、「龙芯CPU」、「寒武纪MLU270」、「比特大陆SC5+」4款国产芯片部署能力，实现八大主流国产芯片全适配。

飞桨PaddlePaddle·2023-11-07 21:25

VS Code运行C++代码，需要先保存

(base)root@autodl-container-31da11b852-b1bce740:~/Documents/course_cpp_tensorrt/course_1#g++main.cpp-omain

chuyufengling·2023-11-07 19:14

Yolov5旋转框(斜框)检测自己的数据集，附带代码+数据集(模型可以收敛)

下一篇介绍tensorRT部署yolov5-obb1.制作数据集标注软件为rolabelimg，标注方法：https://blog.csdn.net/jiao_mr

自由自在的鱼丶·2023-11-06 19:35

yolov5 obb旋转框 tensorrt部署

文章目录1.生成engine文件2.检测图像3.代码yolov5-obbtensorRT部署代码结合王新宇和fish-kong两者的代码，可以多batch批量检测旋转框yolov5旋转框检测：https

自由自在的鱼丶·2023-11-06 19:01

TensorRT量化实战课YOLOv7量化：YOLOv7-PTQ量化(二)

目录前言1.YOLOv7-PTQ量化流程2.模型标定3.敏感层分析前言手写AI推出的全新TensorRT模型量化实战课程，链接。记录下个人学习笔记，仅供自己参考。

爱听歌的周童鞋·2023-11-06 09:19

win10 + vs2019 + TensorRT 配置攻略

环境Anaconda3/Python3.7Tensorflow-gpu2.0TensorRT7.3CUDA10.2CUDNN8.1VS20191.下载TensorRT注意下载自己的对应版本2.安装uff

有事没事扯扯淡·2023-11-05 22:55

北航最新 | Q-YOLO：基于TensorRT和OpenVIVO的检测实战方案

作者|派派星编辑|CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【目标检测】技术交流群后台回复【2D检测综述】获取鱼眼检测、实时检测、通用2D检测等近5年内所有综述！本文只做学术分享，如有侵权，联系删文导读TL;DR:今天给大家带来一个针对单阶段目标检测器的低bit量化技术工作——Q-YOLO。Q-YOLO的核心是引入一种完全端到端的PTQ流程，

自动驾驶之心·2023-11-05 18:56

推荐频道

模型部署（tensorRT)