模型部署（tensorRT) 第10页

LLM系列 | 03：实测讯飞星火、文心一言、bing chat和chatgpt

后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。今天这篇小作文主要是为了庆祝网上铺天盖地高呼666和999的讯飞版ChatGPT：星火的诞生。

JasonLiu1919·2023-11-04 18:46

Windows 环境下TensorRT 7.2 安装过程

安装环境Anaconda3/Python3.7Tensorflow-gpu2.4TensorRT7.2.16CUDA10.2CUDNN8.0.4VS2019简介TensorRT是一个高性能的深度学习推理

乔宇同学·2023-11-04 17:47

英伟达发布 Windows 版 TensorRT-LLM 库

导读英伟达发布了Windows版本的TensorRT-LLM库，称其将大模型在RTX上的运行速度提升4倍。

分享IT资源·2023-11-04 17:03

ubuntu 20.04 + cuda-11.8 + cudnn-8.6+TensorRT-8.6

1、装显卡驱动ubuntu20.04+cuda10.0+cudnn7.6.4_我是谁？？的博客-CSDN博客查看支持的驱动版本：查看本机显卡能够配置的驱动信息lu@host:/usr/local$ubuntu-driversdevices==/sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0==modalias:pci:v000010DEd00002

我是谁？？·2023-11-04 12:13

Centos部署清华ChatGLM3-6B详细教程

今天终于下载了模型部署测试，实际效果确实要比ChatGLM2要好。结合自己实际操作过程，整理一篇关于ChatGLM3的部署的文档分

AINLPer·2023-11-04 07:07

LLM推理部署（二）：英伟达LLM推理部署工具TensorRT-LLM

在大模型时代，各大公司在陆续推出和优化各自的底座大模型，不断刷新榜单，然而大模型的超大参数给生产部署带来了很大的困难，由此也带来大模型部署框架的蓬勃发展（可以参考之前写的LLM推理部署（一）：LLM七种推理服务框架总结

wshzd·2023-11-04 03:01

python 调用onnxruntime 实现单输入多输出

做模型部署的时候需要将模型转换为onnx，转换好之后需要将图像传入验证对比原来的pth看输出参数是否一致。我的模型输出有三部分，直接贴出代码了，注释那部分可以实现指定输出部分。

Ceri·2023-11-04 02:11

C++ 实际应用总结的onnx转engine并推理的代码（基于去噪网络）

C++onnx转engine并推理全过程解析（基于去噪网络），设置动态维度、多输入cuda流推理下载cuda、cudann、tensorrt1、首先导入必要的头文件2、创建logger、builder、

暗号9·2023-11-04 02:41

Jetson Nano搭建人脸检测系统: （三）TensorRT优化

目录一、TensorRT简介二、利用TensorRT优化人脸检测模型三、在JetsonNano上部署TRT文件四、总结1、TensorRT简介 TensorRT是英伟达(NVIDIA)开发的一个可以在

神经网络爱好者·2023-11-03 08:28

深度学习模型剪枝、量化和TensorRT推理

深度学习模型剪枝、量化和TensorRT推理模型剪枝算法参考文献：RethinkingtheValueofNetworkPruning(ICLR2019)github：https://github.com

令狐傻笑·2023-11-03 07:57

Hugging Face LLM部署大语言模型到亚马逊云科技Amazon SageMaker推理示例

本篇文章主要介绍如何使用新的HuggingFaceLLM推理容器将开源LLMs，比如BLOOM大型语言模型部署到亚马逊云科技AmazonSageMaker进行推理的示例。

趣说科技·2023-11-02 14:32

移动端市容巡查AI目标检测计划

python...TensorFlow&模型训练训练环境搭建与升级12种归类图片训练数据采集与筛选数据标注和检测模型训练与调优AI目标检测App开发App架构框架搭建（全部才有最新且稳定）TensorFlow模型部署与推理地图定位数据采集手机摄像头自定义相机管理和数据封装业务数据封装

曾经的你呀·2023-11-02 10:28

[RKNN] 1. 入门介绍

CPU和GPUNPU最近半年一直在做部署，NCNN在树莓派上表现一般、TensorRT的Jetson系列开发板贵，

0zzx0·2023-11-02 04:21

25FPS！英伟达首发BEVFusion部署源代码，边缘端实时运行！！！

作者|手写ai书写未来编辑|集智书童点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入自动驾驶之心【模型部署】技术交流群后台回复【3D检测综述】获取最新基于点云/BEV/图像的3D

自动驾驶之心·2023-11-01 21:39

Jetson NX + yolov5 v5.0 + TensorRT加速+调用usb摄像头

上一篇笔记记录了如何使用yolov5使用usb摄像头使用权重进行测试,测试效果如下本篇文章具体操作步骤如下就可以了，切记版本要对应，我产生这个错误的原因就是版本问题，成功转换但是还是卡顿，估计是硬件usb问题，加速以后帧率得到了明显提升gitclone-bv5.0https://github.com/ultralytics/yolov5.gitgitclone-byolov5-v5.0https:

无证驾驶梁嗖嗖·2023-11-01 20:53

Jetson TX2上配置archiconda、Yolov5、tensorrtx环境问题记录

文章目录前言本文主要记录在JetsonTX2上配置archiconda、Yolov5、tensorrtx环境中遇到的问题以及解决方法。以及一些包的分享。

深度大白·2023-11-01 20:23

Jetson Xavier NX上安装ROS、Cartographer、基于D435i的Yolov5+TensorRT7的流程及问题解决

主要记录下自己在JetsonXavierNX上运行ROS、Cartographer、基于D435i的Yolov5+TensorRT的系统环境配置流程，经过了无数次在ARM上的安装，这次是最流畅的一次环境配置

Z__scholar·2023-11-01 20:19

yolov3、yolov5和DETR在NVIDIA Xavier测速（TensorRT）

本人实测YoloV3、YoloV5和DETR的TensorRT版本在NVIDIAXavier上的测速结果如下，任何问题留言讨论:

mathlxj·2023-11-01 20:18

win yolov5.7 tensorRT推理

安装TensorRT下载tensorrt8.xx版本，适用于Windows的cuda11.x的版本官方下载地址https://developer.nvidia.com/nvidia-tensorrt-8x-download

博观而约取,厚积而薄发·2023-11-01 20:42

深度学习所有硬件平台的自动内核优化

在系统支持方面，我们面临着一个多对多的问题：将多个前端（例如Tensorflow、ONNX、MXNet）的训练模型部署到多个硬件平台（例如CPU、GPU、加速器）。此问题中性能最关

图波列夫·2023-11-01 20:08

端侧模型部署的成熟解决方案有了！

深度学习经过多年发展，AI已经深入人心，事实上，在图像、文本领域，AI在多个产业已经落地了诸多应用，我们熟知的自动驾驶、语音助手，背后就大量运用了AI技术。当下，飞桨PaddlePaddle、TensorFlow、PyTorch这样的开源框架已经非常强大，为部署侧也提供了相关的开源组件，以求降低开发难度。但由于端侧硬件、系统种类繁多，各种加速芯片层出不穷，端侧部署开发工作仍存在实实在在的挑战，成为

夕小瑶·2023-11-01 19:37

瑞芯微rk3588部署yolov5模型实战

瑞芯微rk3588部署yolov5模型实战模型转换通过pt模型转换为onnx模型通过onnx模型转换为rknn模型模型部署编译推送执行文件到板子运行(单图测试)多图测试模型转换使用此yolov5仓库获取

Silver__Wolf·2023-11-01 19:50

YoloV5推理加速、打包DLL、C#调用总结

参考原文：(173条消息)yolov5部署之七步完成tensorRT模型推理加速_yolov5tensorrt_Christo3的博客-CSDN博客操作过程中遇到的问题：cudnn-10.2-windows10

sunny被注册·2023-11-01 19:58

使用 TensorFlow FasterRCNN 网络进行目标检测

目录描述此示例的工作原理处理输入图形数据准备sampleUffFasterRCNN插件验证输出TensorRTAPI层和操作TensorRTAPI层和操作先决条件运行示例示例--help选项附加资源许可变更记录已知问题本示例

喵先生!·2023-11-01 17:49

使用 TensorFlow SSD 网络进行对象检测

处理输入图准备数据sampleUffSSD插件验证输出TensorRTAPI层和操作先决条件运行示例示例--help选项附加资源许可证更改日志已知问题描述该示例sampleUffSSD预处理TensorFlowSSD

喵先生!·2023-11-01 17:10

AI部署之路 | 模型选型、本地部署、服务器部署、模型转换全栈打通！

作者|Oldpan编辑|汽车人点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码

自动驾驶之心·2023-11-01 14:09

深度学习AI编译器-TVM简介

1.为什么需要深度学习编译器深度学习编译器主要为解决不同框架下训练的模型部署到指定的某些设备上时所遇到的一系列复杂的问题，即将各种深度学习训练框架的模型部署到各种硬件所面临的问题；首先深度学习领域，从训练框架看

WRichards·2023-11-01 13:52

运你的第一个“Hello World” 安卓App（附送：安卓开发入门手册）

往期精彩：AndroidApp开发的三种姿势~模型部署，移动端安卓App开发环境搭建和配置教程~新建一个“HelloW

码农的后花园·2023-11-01 11:01

opencv+yolov8实现监控画面报警功能

直接检测闯入到这个区域的所有目标，这样1ms一帧，很快就可以跑完一天的视频用到的技术C++OpenCVYolov8+OnnxRuntimeyolov8介绍YOLOv8支持Pose和Segment,在使用TensorRT

telllong·2023-11-01 07:42

AI算法sdk

文章目录SDK1.加载模型文件（.cfg）：模型文件的内容包括一些模型的信息和tensorRT量化后的模型引擎。

???/cy·2023-10-31 23:57

从0到1配置TensorRT环境

根据博文：TensorFlow2.x模型转onnx、TensorRT给出的环境来配置。

饿了就干饭·2023-10-31 14:50

ML&DEV[9] | gRPC初体验

ML表示机器学习，DEV表示开发，本专栏旨在为大家分享作为算法工程师的工作，机器学习生态下的有关模型方法和技术，从数据生产到模型部署维护监控全流程，预备知识、理论、技术、经验等都会涉及，近期内容以入门线路为主

机智的叉烧·2023-10-30 18:37

TensorRT量化实战课YOLOv7量化：YOLOv7-PTQ量化(一)

目录前言1.YOLOv7-PTQ量化流程2.准备工作3.插入QDQ节点3.1自动插入QDQ节点3.2手动插入QDQ节点前言手写AI推出的全新TensorRT模型量化实战课程，链接。

爱听歌的周童鞋·2023-10-30 04:19

TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍

pytorch_quantization2.1initialize函数2.2tensor_quant模块2.3TensorQuantizer类2.4QuantDescriptor类2.5calib模块总结前言手写AI推出的全新TensorRT

爱听歌的周童鞋·2023-10-30 04:49

YOLOV8的tensorrt部署详解(目标检测模型-cpp)

提示：yolov8的tensorrt部署方法，文中附有源码！！！

tangjunjun-owen·2023-10-29 01:38

【AI】在NVIDIA Jetson Orin Nano上使用tensorrtx部署yolov8

AI学习目录汇总1、下载1.1权重文件下载https://github.com/ultralytics/assets/releases本人下载的yolov8n.ptyolov8n-cls.pt：用于分类yolov8n-pose.pt：用于姿势识别yolov8n-seg.pt：用于对象分割yolov8n-v8loader.pt：专用于人员检测器???yolov8n.pt：用于对象检测1.2源码下载g

郭老二·2023-10-29 01:07

win10环境实现yolov5 TensorRT加速试验(环境配置+训练+推理)

1、环境安装参考上一篇博客WIN10安装配置TensorRT详解对于高版本的cuda/cudnn，需要注意在环境变量里面新建CUDA_MODULE_LOADING环境变量，如下所示：2、模型训练本文的模型训练主要使用的

AI小花猫·2023-10-29 01:03

YOLOV5使用(一): docker跑通，详解TensorRT下plugin的onnx

yolov5的工程使用(以人员检测为案例)使用ubuntu为案例dockerrun--gpusall-it-p6007:6006-p8889:8888--namemy_torch-v$(pwd):/appeasonbob/my_torch1-pytorch:22.03-py3-yolov5-6.0使用端口映射功能也就是说打开jupyterlab的指令是http://localhost:8889/l

智障学AI·2023-10-29 01:33

YOLOV8的tensorrt部署详解(目标检测模型-CUDA)

提示：基于cuda的yolov8的tensorrt部署方法(纯cuda编程处理)，文中附有源码链接！！！

tangjunjun-owen·2023-10-29 01:30

Jetson nano刷机安装系统

准备工作：32GB以上的TF卡、笔记本电脑、Win32DiskImager软件、Jetsonnano1、下载系统镜像可以到官网上下载镜像，系统已经配置好cuda、opencv、tensorrt的了：英伟达官方地址链接

Stars-Chan·2023-10-28 18:51

yolov5的tensorrt加速转换

的那个版本参数对应的模型网络层，要和预训练模型对应权重文件下载路径：不同的版本的权重文件，版本要对应https://github.com/ultralytics/yolov5/tags二.模型转换1.下载对应的tensorrt

凤枭香·2023-10-28 12:14

TensorRT-yolov3部署（python&C++)

一、Python版使用的是TensorRT7.0官方python用例，主要包括一下几个过程1.将Darknet得到的cfg和weights文件转换成onnx模型2.使用onnx模型生成.trt文件并对图片进行检测

Anderson_luo·2023-10-28 12:49

VS2022配置CUDA、CuDNN和TensorRT的环境

CUDA安装打开命令提示符，输入nvidia-smi，敲击回车。看到自己电脑上的CUDAVersion是11.7，将要下载的CUDA安装包要小于或等于11.7版本。CUDA下载地址我这里点击上方链接选择CUDA11.2版本双击安装程序，路径选择默认即可。这个路径暂时存放安装中的缓存，安装结束后，这一些缓存会自动清除掉。点同意并继续安装选项有精简安装和是自定义安装。精简安装会安装CUDA相关组件，同

听风三千里·2023-10-28 11:50

chatglm-6b，搭建自己的AI模型

目录环境必备软件及安装拉取模型架构使用pip安装依赖部署（GPU）从云端加载模型从本地加载模型部署（CPU）环境centos7.6CPU32GSSD>=40Gpython3.9pip23.1必备软件及安装

小生浩浩·2023-10-28 06:49

大模型知识蒸馏概述

吃果冻不吐果冻皮进NLP群—>加入NLP交流群近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本

zenRRan·2023-10-28 00:38

【模型部署】c++部署yolov5使用openvino

1.推理方式CPU推理GPU推理（要求电脑具备核显，即CPU中有嵌入显卡）2.openvino依赖项下载https://github.com/openvinotoolkit/openvino/releases直接解压（随便放到哪个路径）环境配置********（openvino所在路径）\runtime\bin\intel64\Release********\runtime\3rdparty\tb

只搬烫手的砖·2023-10-27 23:50

tensorrtx加速推理后，如何把80个分类转换为自己的分类个数

1，主要修改的是det.cpp文件，我将分类作为配置文件拿出来，修改一下在yolov5.det里添加函数：std::vectorread_gun_classes(std::stringfile_name){std::vectorclasses;std::ifstreamifs(file_name,std::ios::in);if(!ifs.is_open()){std::cerr<

鼾声鼾语·2023-10-27 21:17

Generative AI 新世界 | Falcon 40B 开源大模型的部署方式分析

本期文章，我们将重新回到文本生成的大模型部署场景，探讨如何在AmazonSageMaker上部署具有400亿参数的Falcon40B开源大模型。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。

亚马逊云开发者·2023-10-27 19:21

tensorRT 分类模型构建与推理

tensorRT分类模型构建与推理示例代码classifier.cpp//tensorRTinclude//编译用的头文件#include//onnx解析器的头文件#include//推理用的运行时头文件

洪流之源·2023-10-27 11:14

tensorRT trtexec命令常用参数

构建阶段--onnx=./model.onnx#指定onnx模型文件名--minShapes=input0:1x3x224x224#指定动态输入形状的范围最小值--optShapes=input0:8x3x224x224#指定动态输入形状的范围常见值--maxShapes=input0:16x3x224x224#指定动态输入形状的范围最大值--inputIOFormats=fp16:chw#指定模

洪流之源·2023-10-27 11:44

推荐频道

模型部署（tensorRT)