模型部署（tensorRT) 第10页

001、Nvidia Jetson Nano Developer KIT（b01）-系统与登录

3.2可视化连接杂谈NvidiaJetsonNanoDeveloperKIT（b01，4G），系统配置全纪录，镜像烧录、系统安装、远程桌面安装、cuda与torch安装、pycharm、pycuda、tensorrt

Here we are——wxl·2023-11-19 00:03

nvidia-docker的安装

cpu架构：x86操作系统：ubuntu18.04受够了TensorRT+cuda+opencv+ffmpeg+x264运行环境的部署的繁琐，每次新服务器上部署环境都会花费很大的精力去部署环境，听说nvidia-docker

jndingxin·2023-11-18 22:54

Win11基于WSL2安装CUDA、cuDNN和TensorRT（2023-03-01）

文章目录2023-03-06更新2023-03-05更新前言TensorRT介绍环境配置CUDADriver检查安装安装CUDA安装nvcc安装cuDNN安装验证安装TensorRT安装验证2023-03

Apple_Coco·2023-11-18 22:49

tensorrt: pycuda, onnx, onnxruntime, tensorrt,torch-tensorrt 安装

文章目录tensorrt:pycuda,onnx,onnxruntime,tensorrt,torch-tensorrt安装1.深度学习模型部署综述（ONNX/NCNN/OpenVINO/TensorRT

tony365·2023-11-17 15:33

jetson nano的tensorrt加速部署

实验平台参数jetack在线OTA升级指令$sudovi/etc/apt/sources.list.d/nvidia-l4t-apt-source.list修改其apt源文件即可，即可可以参考上一篇文章一，查看相应的包版本1，jetpack版本查看sudoapt-cacheshownvidia-jetpack后面我进行了OTA在线升级，升级到4.6.42，查看jetpack对应的python版本匹

书中藏着宇宙·2023-11-17 12:49

Tensorrt自定义算子实现步骤

Tensorrt自定义算子实现步骤目的这篇文章主要是用于记录tensorrt自定义算子的过程.这里采用的是torch2trt直接转换的方式.实验思路:造一个pytorch中支持的操作,但是tensorrt

mikeyNa·2023-11-17 02:19

TensorRT基础知识及应用【学习笔记（十）】

这篇博客为修改过后的转载，因为没有转载链接，所以选了原创文章目录一、准备知识1.1环境配置A.CUDADriverB.CUDAC.cuDNND.TensorRT1.2编程模型二、构建阶段2.1创建网络定义

全息数据·2023-11-16 17:18

开源大模型部署及推理所需显卡成本必读之二

在前面的文章中，我们介绍了大模型占用显卡空间的一些分析情况，这次我们继续来看看具体量化角度上的结论。因此，本文来来介绍一个偏具体数值量化的工作。随着各厂商相继发布大型模型，排行榜变化频繁，新旧交替，呈现出一片繁荣景象。有些技术爱好者也开始心痒难耐，萌生了构建一个庞大模型并进行训练的想法。每天都能看到各个厂家推出内测版本，这让人不禁思考：为何不在本地环境尝试一番呢？然而，当前手头仅有一块性能有限的老

深科文库·2023-11-16 15:00

开源大模型部署及推理所需显卡成本必读之一

一、系统内存与架构在人工智能大模型训练的过程中，常常会面临显存资源不足的情况，其中包括但不限于以下两个方面：1.经典错误：CUDAoutofmemory.Triedtoallocate...；2.明明报错信息表明显存资源充足，仍然发生OOM问题。为了深入理解问题的根源并寻求解决方案，必须对系统内存架构以及显存管理机制进行进一步的探究。本文将为读者带来对这些基础知识的全面学习与了解。系统内存与两块G

深科文库·2023-11-16 15:55

Windows11(CUDA11.7)下安装TensorRT

Windows11(CUDA11.7)下安装TensorRT_tensorrt对应的cuda版本-CSDN博客

我是谁？？·2023-11-16 13:57

OpenMMlab导出yolov3模型并用onnxruntime和tensorrt推理

导出onnx文件直接使用脚本importtorchfrommmdet.apisimportinit_detector,inference_detectorconfig_file='./configs/yolo/yolov3_mobilenetv2_8xb24-ms-416-300e_coco.py'checkpoint_file='yolov3_mobilenetv2_mstrain-416_30

给算法爸爸上香·2023-11-16 01:12

关于本科期间参加人工智能方向竞赛的建议

还有例如Nv和阿里云举办的异构计算挑战赛（TensorRT加速）、两届的Xilinx全球自适应计算大赛（都是获得发放免费硬件资

·空感自诩”·2023-11-15 07:01

【Windows 开发环境配置——NVIDIA 篇】CUDA、cuDNN、TensorRT 三件套安装

CUDA从CUDAToolkitArchive下载相应版本的离线安装包，这里以11.7为例。打开安装包，在安装选项选择自定义模式，点击下一步。在自定义安装选项中，仅选择CUDA组件（其中Nsight相关组件用于代码调试与性能分析），若未安装显卡驱动，选择NVIDIAGeForceExperiencecomponents并点击下一步。可能会出现如下图提示，警告你未安装VisualStudio(可参考

快乐非自愿·2023-11-15 05:01

机器学习模型的部署

原文连接:https://www.jianshu.com/p/ad2bfc08b9e2随着机器学习的广泛应用，如何高效的把训练好的机器学习的模型部署到生产环境，正在被越来越多的工具所支持。

奔跑的大大蜗牛·2023-11-15 04:06

tensorRT加速pytorch模型

pytorch模型保存方法简单的保存方法#保存整个网络torch.save(net,PATH)#保存网络中的参数,速度快，占空间少torch.save(net.state_dict(),PATH)#--------------------------------------------------#针对上面一般的保存方法，加载的方法分别是：model_dict=torch.load(PATH)mo

henyaoyuancc·2023-11-14 18:53

[tensorrt]tensorrt8.0系列下载地址

TensorRT8.0GAUpdate1DocumentationOnlineDocumentationTensorRT8.0GAUpdate1forWindowsZIPpackagesforx86_64ArchitectureTensorRT8.0.3GAforWindows10andCUDA11.3

FL1623863129·2023-11-14 13:41

深度学习算法部署方介绍（笔记）（文章是抄别人的）

常见的离线部署方式有TensorFlowLite、ONNX、TensorRT等。2、在线部署

饿了就干饭·2023-11-14 10:54

jetsonTX2 nx配置tensorRT加速yolov5推理

环境说明Ubuntu18+conda环境python3.9+cuda10.2，硬件平台是Jetsontx2nx前提你已经能运行YOLOV5代码后，再配置tensorRT进行加速。

谏书稀·2023-11-14 00:24

TensorRT安装部署指南（Windows10）

TensorRT安装部署指南时间：2023/11/01说明：本指南针对在装有NVIDIA显卡的Windows10系统的计算机上，安装TensorRT推理加速工具，将pytorch中导出的onnx模型转换为

本初-ben·2023-11-13 20:40

yolov8实例分割Tensorrt部署C++代码，engine模型推理示例和代码详解

接上文中的yolov8-aeg实例分割onnx转engine部分代码详解。本文对yolov8seg实例分割推理部分代码进行详细解不，此部分与常见的不同，后处理部分主要以矩阵处理为主。通过代码注释和示例运行，帮助大家理解和使用。目录代码infer_main.cpputils.hCmakeLists.txt运行示例代码文件夹内容如下。主要包括主程序infer_main.cpp和用到的logging.h

木彳·2023-11-13 18:18

yolov8系列[六]-项目实战-yolov8模型部署android

yolov8系列[六]-项目实战-yolov8模型部署android@[TOC](yolov8系列[六]-项目实战-yolov8模型部署android)参考:YOLOV8部署AndroidStudio

GeekPlusA·2023-11-13 17:36

ubuntu安装tensorrt

首先确认ubuntu、cuda、cudnn版本，在nvidia官网下载相应版本的tensorrt。

选与握·2023-11-13 17:55

Ubuntu下TensorRT的安装和torch2trt的配置及使用

目录1、环境需求2、安装tensorrt7.2.2.33、安装tensorrt7.2.2.34、下载torch2trt5、设置torch2trt6、运行torch2trt的demo错误说明torch2trt

笨鸟未必先飞·2023-11-13 17:54

ubuntu下cmake+cuda+cudnn+tensorRT开发环境配置

Ubuntuaarch64/x86_64opencvcmakeTensorrtubuntu下cmake+opencv+cuda+cudnn+tensorRT开发环境配置

日月明明~·2023-11-13 17:23

tensorrt的配置环境

ubuntu:1804cuda:10.2cudnn:8.04tensorrt:7.1.3.4uyolov5:v3

日作诗歌三千首·2023-11-13 17:53

Ubuntu20.04配置TensorRT

linux20.04+CUDA11.3+cudnn8.2+TensorRT8.0.1.6nvidia-smi显示的CUDA版本和nvcc-V得到的CUDA版本会不一致，nvidia-smi显示的是支持的最高的

Hkj爱学习·2023-11-13 17:21

TensorRT环境配置（2023完整版）

配置TensorRT环境需要配置CUDA、CUDNN、英伟达显卡驱动安装顺序是先英伟达显卡驱动，CUDA，CUDNN，如果已经安装就可以跳过可以用命令查询CUDA和英伟达驱动版本，下载对应的CUDNN：

epic_Lin·2023-11-13 17:18

【环境搭建】在ubuntu上安装TensorRT

【环境搭建】在ubuntu上安装TensorRT安装显卡驱动、CUDA以及cuDNNubuntu上安装TensorRT结语安装显卡驱动、CUDA以及cuDNN【环境搭建】在Ubuntu16.04上安装nvidiaGPU

Zhang_Chen_·2023-11-13 17:47

ubuntu下tensorrt环境配置

文章目录一、Ubuntu18.04环境配置1.1安装工具链和opencv1.2安装Nvidia相关库1.2.1安装Nvidia显卡驱动1.2.2安装cuda11.31.2.3安装cudnn8.21.2.4下载tensorrt8.4.2.4

韩师兄_·2023-11-13 17:16

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）

模型部署：量化中的Post-Training-Quantization（PTQ）和Quantization-Aware-Training（QAT）前言量化Post-Training-Quantization

AGI_Player·2023-11-13 11:12

【yolov5】onnx的INT8量化engine

GitHub上有大佬写好代码，理论上直接克隆仓库里下来使用gitclonehttps://github.com/Wulingtian/yolov5_tensorrt_int8_tools.git然后在yolov5

Ye-Maolin·2023-11-12 19:05

亚马逊云AI应用科技创新下的Amazon SageMaker使用教程

借助SageMaker，数据科学家和开发人员可以快速、轻松地构建和训练机器学习模型，然后直接将模型部署到生产就绪托管环境中。它提供了一个集成的Jupyter编写Notebook实例，供您

lqj_本人·2023-11-12 14:40

YOLOv8模型ONNX格式INT8量化轻松搞定

ONNX格式模型量化深度学习模型量化支持深度学习模型部署框架支持的一种轻量化模型与加速模型推理的一种常用手段，ONNXRUNTIME支持模型的简化、量化等脚本操作，简单易学，非常实用。

金戈鐡馬·2023-11-12 12:34

为什么说CUDA是NVIDIA的护城河?

编辑|汽车人原文链接：https://www.zhihu.com/question/564812763点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】

自动驾驶之心·2023-11-12 11:37

大语言模型部署：基于llama.cpp在Ubuntu 22.04及CUDA环境中部署Llama-2 7B

llama.cpp是近期非常流行的一款专注于Llama/Llama-2部署的C/C++工具。本文利用llama.cpp来部署Llama27B大语言模型，所采用的环境为Ubuntu22.04及NVIDIACUDA。文中假设Linux的用户目录（一般为/home/username）为当前目录。安装NVIDIACUDA工具NVIDIA官方已经提供在Ubuntu22.04中安装CUDA的官方文档。本文稍有

SmileyFaceApp·2023-11-12 08:58

魔搭社区LLM模型部署实践，以ChatGLM3为例（一）

魔搭社区LLM模型部署实践，以ChatGLM3为例本文以ChatGLM3-6B为例，主要介绍在魔搭社区如何部署LLM，主要包括如下内容：●SwingDeploy-云端部署，实现零代码一键部署●多端部署-

大模型Maynor·2023-11-12 05:53

Redhat8 安装 cuda11.8 + cudnn 8.6 + trt8.5.3 保姆级教程

详细记录redhat8系统，从0-1安装Cuda,Cudnn,Tensorrt全部过程。

J ..·2023-11-12 03:51

【亲测】ubuntu20.4安装TensorRT

安装TensorRT之前请确保显卡驱动CUDAcuDNN全部成功安装安装CUDA+显卡驱动请参照：【亲测】ubuntu20.4显卡驱动+CUDA11.8一起安装_Coding_C++的博客-CSDN博客安装

勿扰，学习中......·2023-11-11 19:59

SpireCV如何利用TensorRT加速？

TensorRT简介TensorRT是NVIDIA推出的一款高性能的深度学习推理引擎(C++库)。

阿木实验室·2023-11-10 23:41

Using The CuDLA API To Run A TensorRT Engine

UsingTheCuDLAAPIToRunATensorRTEngineTableOfContentsDescriptionHowdoesthissamplework?

卡图卢斯·2023-11-10 22:56

Digit Recognition With Dynamic Shapes In TensorRT

DigitRecognitionWithDynamicShapesInTensorRTTableOfContentsDescriptionHowdoesthissamplework?

卡图卢斯·2023-11-10 22:56

Algorithm Selection API usage example based off sampleMNIST in TensorRT

AlgorithmSelectionAPIusageexamplebasedoffsampleMNISTinTensorRTTableOfContentsDescriptionHowdoesthissamplework

卡图卢斯·2023-11-10 22:19

人工智能模型转ONNX & 连接摄像头使用ONNX格式的模型进行推理

模型部署的通用流程各大厂商都有自己的推理工具。训练的归训练，部署的归部署，人工智能也分训练端和部署端，每一个端操心自己事就好了。

computer_vision_chen·2023-11-10 18:10

RT-Thread上部署TinyMaix推理框架，使MCU赋予AI能力

它是将机器学习和深度学习模型部署到资源有限但功能强大的微控制器中，以实现智能决策和感知。以

Rice嵌入式开发·2023-11-10 18:03

语言大模型推理性能工程：最佳实践

此外，他们还提供了围绕模型部署推理服务的指南，以帮助用户更好地选择模型和部署硬件。他们在生产环境中使用了多个基于PyTorch的后端。

OneFlow深度学习框架·2023-11-10 15:55

yolov8+tensorrt+pyqt5+多线程+鼠标单机放大缩小多路视频监控系统+账户密码验证登录界面（持续开发完善中）

吧我这里算法用的是官方的yolov8s哈，各位大佬可以结合自己的算法转成engine再部署，另外我这里用的转化工具是参考github：https://github.com/triple-Mu/YOLOv8-TensorRT

菜鸡努力变大佬·2023-11-10 12:56

极智项目 | 实战TensorRT部署DETR

欢迎关注我的公众号[极智视界]，获取我的更多经验分享大家好，我是极智视界，本文来介绍实战TensorRT部署DETR。

极智视界·2023-11-09 19:56

支持表格识别，PaddleOCRSharp最新发布

paddle-ocrsharp2.3.0更新内容：1.增加表格识别功能2.同步更新飞桨PaddleOCR最新版本C++代码3.适配paddle_inference预测库到最新2.4.1版本4.识别参数增加use_tensorrt

zls365365·2023-11-09 01:32

使用Azure OpenAI服务创建聊天机器人

在你创建好的OpenAI服务中，依次点击“模型部署

程序猿老罗·2023-11-08 20:28

ChatGLM2-6B，部署及微调

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、模型部署1.下载代码2.下载模型3.建立conda的虚拟环境4.安装环境依赖5.修改模型配置6.执行web_demo.py

rexxa·2023-11-08 20:17

推荐频道

模型部署（tensorRT)