模型部署（tensorRT) 第11页

SpireCV如何利用TensorRT加速？

TensorRT简介TensorRT是NVIDIA推出的一款高性能的深度学习推理引擎(C++库)。

阿木实验室·2023-11-10 23:41

Using The CuDLA API To Run A TensorRT Engine

UsingTheCuDLAAPIToRunATensorRTEngineTableOfContentsDescriptionHowdoesthissamplework?

卡图卢斯·2023-11-10 22:56

Digit Recognition With Dynamic Shapes In TensorRT

DigitRecognitionWithDynamicShapesInTensorRTTableOfContentsDescriptionHowdoesthissamplework?

卡图卢斯·2023-11-10 22:56

Algorithm Selection API usage example based off sampleMNIST in TensorRT

AlgorithmSelectionAPIusageexamplebasedoffsampleMNISTinTensorRTTableOfContentsDescriptionHowdoesthissamplework

卡图卢斯·2023-11-10 22:19

人工智能模型转ONNX & 连接摄像头使用ONNX格式的模型进行推理

模型部署的通用流程各大厂商都有自己的推理工具。训练的归训练，部署的归部署，人工智能也分训练端和部署端，每一个端操心自己事就好了。

computer_vision_chen·2023-11-10 18:10

RT-Thread上部署TinyMaix推理框架，使MCU赋予AI能力

它是将机器学习和深度学习模型部署到资源有限但功能强大的微控制器中，以实现智能决策和感知。以

Rice嵌入式开发·2023-11-10 18:03

语言大模型推理性能工程：最佳实践

此外，他们还提供了围绕模型部署推理服务的指南，以帮助用户更好地选择模型和部署硬件。他们在生产环境中使用了多个基于PyTorch的后端。

OneFlow深度学习框架·2023-11-10 15:55

yolov8+tensorrt+pyqt5+多线程+鼠标单机放大缩小多路视频监控系统+账户密码验证登录界面（持续开发完善中）

吧我这里算法用的是官方的yolov8s哈，各位大佬可以结合自己的算法转成engine再部署，另外我这里用的转化工具是参考github：https://github.com/triple-Mu/YOLOv8-TensorRT

菜鸡努力变大佬·2023-11-10 12:56

极智项目 | 实战TensorRT部署DETR

欢迎关注我的公众号[极智视界]，获取我的更多经验分享大家好，我是极智视界，本文来介绍实战TensorRT部署DETR。

极智视界·2023-11-09 19:56

支持表格识别，PaddleOCRSharp最新发布

paddle-ocrsharp2.3.0更新内容：1.增加表格识别功能2.同步更新飞桨PaddleOCR最新版本C++代码3.适配paddle_inference预测库到最新2.4.1版本4.识别参数增加use_tensorrt

zls365365·2023-11-09 01:32

使用Azure OpenAI服务创建聊天机器人

在你创建好的OpenAI服务中，依次点击“模型部署

程序猿老罗·2023-11-08 20:28

ChatGLM2-6B，部署及微调

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、模型部署1.下载代码2.下载模型3.建立conda的虚拟环境4.安装环境依赖5.修改模型配置6.执行web_demo.py

rexxa·2023-11-08 20:17

ChatGLM-6B部署、实战与微调

下载模型文件推理代码调用网页版的Demo网页版的Demo2命令行Demo部署API部署低成本部署模型量化CPU部署Mac部署多卡部署训练与微调软件依赖下载数据集训练P-Tuningv2评估P-Tuningv2训练的模型部署

静静AI学堂·2023-11-08 20:45

Yolov8部署——vs2019生成解决方案问题

Yolov8部署——vs2019生成解决方案问题（1）Yolov8部署最近开始在win10上部署Yolov8,并用tensorrt加速，从此贴开始记录后续遇到的部署问题。

李舒木子馨☘·2023-11-08 15:28

使用cmake在win10编译yolov5+tensorRT+cuda+cudnn+protobuf代码进行混合编译

这里进行之前需要把protobuf在win10下编译，可以参考这篇文章从Linux下载下来的工程代码，这里建议直接使用vs系列打开不要用vscode打开，vscode对win下的cmake不友好，主要体现在报错机制无法直接定位，题主的环境是vs2022通过cmake可以快速的进行定位bug，并可以快速解决(vscode的cmake在Linux下还是比较友好的，但是通常如果在Linux下为什么不研究

zsffuture·2023-11-08 09:29

ubuntu下cmake+opencv+cuda+cudnn+tensorRT开发环境配置

ubuntu下cmake+opencv+cuda+cudnn+tensorRT开发环境配置前言cmake安装多版本cuda+cudnn安装及管理cuda10.1+cudnn7.6.5安装cuda10.0

正经学渣·2023-11-08 09:27

基于亚马逊云科技生成式AI，灵境未来实现云上大语言模型训练和推理平台部署

灵境未来的创业团队在机器学习与人工智能领域拥有丰富的经验积累，致力于以最低成本来帮助企业实现私有数据价值的最大化，为行业客户提供从数据准备、模型微调、模型评估、模型部署等服务。通过加入

Zaker科技·2023-11-08 05:01

十月重点回顾：EasyDL八大国产芯片实现模型部署全适配！

10月，EasyDL模型部署国产芯片适配类型丰富度再进一步，新增「飞腾CPU」、「龙芯CPU」、「寒武纪MLU270」、「比特大陆SC5+」4款国产芯片部署能力，实现八大主流国产芯片全适配。

飞桨PaddlePaddle·2023-11-07 21:25

VS Code运行C++代码，需要先保存

(base)root@autodl-container-31da11b852-b1bce740:~/Documents/course_cpp_tensorrt/course_1#g++main.cpp-omain

chuyufengling·2023-11-07 19:14

Yolov5旋转框(斜框)检测自己的数据集，附带代码+数据集(模型可以收敛)

下一篇介绍tensorRT部署yolov5-obb1.制作数据集标注软件为rolabelimg，标注方法：https://blog.csdn.net/jiao_mr

自由自在的鱼丶·2023-11-06 19:35

yolov5 obb旋转框 tensorrt部署

文章目录1.生成engine文件2.检测图像3.代码yolov5-obbtensorRT部署代码结合王新宇和fish-kong两者的代码，可以多batch批量检测旋转框yolov5旋转框检测：https

自由自在的鱼丶·2023-11-06 19:01

TensorRT量化实战课YOLOv7量化：YOLOv7-PTQ量化(二)

目录前言1.YOLOv7-PTQ量化流程2.模型标定3.敏感层分析前言手写AI推出的全新TensorRT模型量化实战课程，链接。记录下个人学习笔记，仅供自己参考。

爱听歌的周童鞋·2023-11-06 09:19

win10 + vs2019 + TensorRT 配置攻略

环境Anaconda3/Python3.7Tensorflow-gpu2.0TensorRT7.3CUDA10.2CUDNN8.1VS20191.下载TensorRT注意下载自己的对应版本2.安装uff

有事没事扯扯淡·2023-11-05 22:55

北航最新 | Q-YOLO：基于TensorRT和OpenVIVO的检测实战方案

作者|派派星编辑|CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【目标检测】技术交流群后台回复【2D检测综述】获取鱼眼检测、实时检测、通用2D检测等近5年内所有综述！本文只做学术分享，如有侵权，联系删文导读TL;DR:今天给大家带来一个针对单阶段目标检测器的低bit量化技术工作——Q-YOLO。Q-YOLO的核心是引入一种完全端到端的PTQ流程，

自动驾驶之心·2023-11-05 18:56

LLM系列 | 03：实测讯飞星火、文心一言、bing chat和chatgpt

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。今天这篇小作文主要是为了庆祝网上铺天盖地高呼666和999的讯飞版ChatGPT：星火的诞生。

JasonLiu1919·2023-11-04 18:46

Windows 环境下TensorRT 7.2 安装过程

安装环境Anaconda3/Python3.7Tensorflow-gpu2.4TensorRT7.2.16CUDA10.2CUDNN8.0.4VS2019简介TensorRT是一个高性能的深度学习推理

乔宇同学·2023-11-04 17:47

英伟达发布 Windows 版 TensorRT-LLM 库

导读英伟达发布了Windows版本的TensorRT-LLM库，称其将大模型在RTX上的运行速度提升4倍。

分享IT资源·2023-11-04 17:03

ubuntu 20.04 + cuda-11.8 + cudnn-8.6+TensorRT-8.6

1、装显卡驱动ubuntu20.04+cuda10.0+cudnn7.6.4_我是谁？？的博客-CSDN博客查看支持的驱动版本：查看本机显卡能够配置的驱动信息lu@host:/usr/local$ubuntu-driversdevices==/sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0==modalias:pci:v000010DEd00002

我是谁？？·2023-11-04 12:13

Centos部署清华ChatGLM3-6B详细教程

今天终于下载了模型部署测试，实际效果确实要比ChatGLM2要好。结合自己实际操作过程，整理一篇关于ChatGLM3的部署的文档分

AINLPer·2023-11-04 07:07

LLM推理部署（二）：英伟达LLM推理部署工具TensorRT-LLM

在大模型时代，各大公司在陆续推出和优化各自的底座大模型，不断刷新榜单，然而大模型的超大参数给生产部署带来了很大的困难，由此也带来大模型部署框架的蓬勃发展（可以参考之前写的LLM推理部署（一）：LLM七种推理服务框架总结

wshzd·2023-11-04 03:01

python 调用onnxruntime 实现单输入多输出

做模型部署的时候需要将模型转换为onnx，转换好之后需要将图像传入验证对比原来的pth看输出参数是否一致。我的模型输出有三部分，直接贴出代码了，注释那部分可以实现指定输出部分。

Ceri·2023-11-04 02:11

C++ 实际应用总结的onnx转engine并推理的代码（基于去噪网络）

C++onnx转engine并推理全过程解析（基于去噪网络），设置动态维度、多输入cuda流推理下载cuda、cudann、tensorrt1、首先导入必要的头文件2、创建logger、builder、

暗号9·2023-11-04 02:41

Jetson Nano搭建人脸检测系统: （三）TensorRT优化

目录一、TensorRT简介二、利用TensorRT优化人脸检测模型三、在JetsonNano上部署TRT文件四、总结1、TensorRT简介 TensorRT是英伟达(NVIDIA)开发的一个可以在

神经网络爱好者·2023-11-03 08:28

深度学习模型剪枝、量化和TensorRT推理

深度学习模型剪枝、量化和TensorRT推理模型剪枝算法参考文献：RethinkingtheValueofNetworkPruning(ICLR2019)github：https://github.com

令狐傻笑·2023-11-03 07:57

Hugging Face LLM部署大语言模型到亚马逊云科技Amazon SageMaker推理示例

本篇文章主要介绍如何使用新的HuggingFaceLLM推理容器将开源LLMs，比如BLOOM大型语言模型部署到亚马逊云科技AmazonSageMaker进行推理的示例。

趣说科技·2023-11-02 14:32

移动端市容巡查AI目标检测计划

python...TensorFlow&模型训练训练环境搭建与升级12种归类图片训练数据采集与筛选数据标注和检测模型训练与调优AI目标检测App开发App架构框架搭建（全部才有最新且稳定）TensorFlow模型部署与推理地图定位数据采集手机摄像头自定义相机管理和数据封装业务数据封装

曾经的你呀·2023-11-02 10:28

[RKNN] 1. 入门介绍

CPU和GPUNPU最近半年一直在做部署，NCNN在树莓派上表现一般、TensorRT的Jetson系列开发板贵，

0zzx0·2023-11-02 04:21

25FPS！英伟达首发BEVFusion部署源代码，边缘端实时运行！！！

作者|手写ai书写未来编辑|集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入自动驾驶之心【模型部署】技术交流群后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D

自动驾驶之心·2023-11-01 21:39

Jetson NX + yolov5 v5.0 + TensorRT加速+调用usb摄像头

上一篇笔记记录了如何使用yolov5使用usb摄像头使用权重进行测试,测试效果如下本篇文章具体操作步骤如下就可以了，切记版本要对应，我产生这个错误的原因就是版本问题，成功转换但是还是卡顿，估计是硬件usb问题，加速以后帧率得到了明显提升gitclone-bv5.0https://github.com/ultralytics/yolov5.gitgitclone-byolov5-v5.0https:

无证驾驶梁嗖嗖·2023-11-01 20:53

Jetson TX2上配置archiconda、Yolov5、tensorrtx环境问题记录

文章目录前言本文主要记录在JetsonTX2上配置archiconda、Yolov5、tensorrtx环境中遇到的问题以及解决方法。以及一些包的分享。

深度大白·2023-11-01 20:23

Jetson Xavier NX上安装ROS、Cartographer、基于D435i的Yolov5+TensorRT7的流程及问题解决

主要记录下自己在JetsonXavierNX上运行ROS、Cartographer、基于D435i的Yolov5+TensorRT的系统环境配置流程，经过了无数次在ARM上的安装，这次是最流畅的一次环境配置

Z__scholar·2023-11-01 20:19

yolov3、yolov5和DETR在NVIDIA Xavier测速（TensorRT）

本人实测YoloV3、YoloV5和DETR的TensorRT版本在NVIDIAXavier上的测速结果如下，任何问题留言讨论:

mathlxj·2023-11-01 20:18

win yolov5.7 tensorRT推理

安装TensorRT下载tensorrt8.xx版本，适用于Windows的cuda11.x的版本官方下载地址https://developer.nvidia.com/nvidia-tensorrt-8x-download

博观而约取,厚积而薄发·2023-11-01 20:42

深度学习所有硬件平台的自动内核优化

在系统支持方面，我们面临着一个多对多的问题：将多个前端（例如Tensorflow、ONNX、MXNet）的训练模型部署到多个硬件平台（例如CPU、GPU、加速器）。此问题中性能最关

图波列夫·2023-11-01 20:08

端侧模型部署的成熟解决方案有了！

深度学习经过多年发展，AI已经深入人心，事实上，在图像、文本领域，AI在多个产业已经落地了诸多应用，我们熟知的自动驾驶、语音助手，背后就大量运用了AI技术。当下，飞桨PaddlePaddle、TensorFlow、PyTorch这样的开源框架已经非常强大，为部署侧也提供了相关的开源组件，以求降低开发难度。但由于端侧硬件、系统种类繁多，各种加速芯片层出不穷，端侧部署开发工作仍存在实实在在的挑战，成为

夕小瑶·2023-11-01 19:37

瑞芯微rk3588部署yolov5模型实战

瑞芯微rk3588部署yolov5模型实战模型转换通过pt模型转换为onnx模型通过onnx模型转换为rknn模型模型部署编译推送执行文件到板子运行(单图测试)多图测试模型转换使用此yolov5仓库获取

Silver__Wolf·2023-11-01 19:50

YoloV5推理加速、打包DLL、C#调用总结

参考原文：(173条消息)yolov5部署之七步完成tensorRT模型推理加速_yolov5tensorrt_Christo3的博客-CSDN博客操作过程中遇到的问题：cudnn-10.2-windows10

sunny被注册·2023-11-01 19:58

使用 TensorFlow FasterRCNN 网络进行目标检测

目录描述此示例的工作原理处理输入图形数据准备sampleUffFasterRCNN插件验证输出TensorRTAPI层和操作TensorRTAPI层和操作先决条件运行示例示例--help选项附加资源许可变更记录已知问题本示例

喵先生!·2023-11-01 17:49

使用 TensorFlow SSD 网络进行对象检测

处理输入图准备数据sampleUffSSD插件验证输出TensorRTAPI层和操作先决条件运行示例示例--help选项附加资源许可证更改日志已知问题描述该示例sampleUffSSD预处理TensorFlowSSD

喵先生!·2023-11-01 17:10

AI部署之路 | 模型选型、本地部署、服务器部署、模型转换全栈打通！

作者|Oldpan编辑|汽车人点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码

自动驾驶之心·2023-11-01 14:09

推荐频道

模型部署（tensorRT)