模型部署（tensorRT)

TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍

pytorch_quantization2.1initialize函数2.2tensor_quant模块2.3TensorQuantizer类2.4QuantDescriptor类2.5calib模块总结前言手写AI推出的全新TensorRT
爱听歌的周童鞋·2023-10-30 04:49

YOLOV8的tensorrt部署详解(目标检测模型-cpp)

提示：yolov8的tensorrt部署方法，文中附有源码！！！
tangjunjun-owen·2023-10-29 01:38

【AI】在NVIDIA Jetson Orin Nano上使用tensorrtx部署yolov8

AI学习目录汇总1、下载1.1权重文件下载https://github.com/ultralytics/assets/releases本人下载的yolov8n.ptyolov8n-cls.pt：用于分类yolov8n-pose.pt：用于姿势识别yolov8n-seg.pt：用于对象分割yolov8n-v8loader.pt：专用于人员检测器???yolov8n.pt：用于对象检测1.2源码下载g
郭老二·2023-10-29 01:07

win10环境实现yolov5 TensorRT加速试验(环境配置+训练+推理)

1、环境安装参考上一篇博客WIN10安装配置TensorRT详解对于高版本的cuda/cudnn，需要注意在环境变量里面新建CUDA_MODULE_LOADING环境变量，如下所示：2、模型训练本文的模型训练主要使用的
AI小花猫·2023-10-29 01:03

YOLOV5使用(一): docker跑通，详解TensorRT下plugin的onnx

yolov5的工程使用(以人员检测为案例)使用ubuntu为案例dockerrun--gpusall-it-p6007:6006-p8889:8888--namemy_torch-v$(pwd):/appeasonbob/my_torch1-pytorch:22.03-py3-yolov5-6.0使用端口映射功能也就是说打开jupyterlab的指令是http://localhost:8889/l
智障学AI·2023-10-29 01:33

YOLOV8的tensorrt部署详解(目标检测模型-CUDA)

提示：基于cuda的yolov8的tensorrt部署方法(纯cuda编程处理)，文中附有源码链接！！！
tangjunjun-owen·2023-10-29 01:30

Jetson nano刷机安装系统

准备工作：32GB以上的TF卡、笔记本电脑、Win32DiskImager软件、Jetsonnano1、下载系统镜像可以到官网上下载镜像，系统已经配置好cuda、opencv、tensorrt的了：英伟达官方地址链接
Stars-Chan·2023-10-28 18:51

yolov5的tensorrt加速转换

的那个版本参数对应的模型网络层，要和预训练模型对应权重文件下载路径：不同的版本的权重文件，版本要对应https://github.com/ultralytics/yolov5/tags二.模型转换1.下载对应的tensorrt
凤枭香·2023-10-28 12:14

TensorRT-yolov3部署（python&C++)

一、Python版使用的是TensorRT7.0官方python用例，主要包括一下几个过程1.将Darknet得到的cfg和weights文件转换成onnx模型2.使用onnx模型生成.trt文件并对图片进行检测
Anderson_luo·2023-10-28 12:49

VS2022配置CUDA、CuDNN和TensorRT的环境

CUDA安装打开命令提示符，输入nvidia-smi，敲击回车。看到自己电脑上的CUDAVersion是11.7，将要下载的CUDA安装包要小于或等于11.7版本。CUDA下载地址我这里点击上方链接选择CUDA11.2版本双击安装程序，路径选择默认即可。这个路径暂时存放安装中的缓存，安装结束后，这一些缓存会自动清除掉。点同意并继续安装选项有精简安装和是自定义安装。精简安装会安装CUDA相关组件，同
听风三千里·2023-10-28 11:50

chatglm-6b，搭建自己的AI模型

目录环境必备软件及安装拉取模型架构使用pip安装依赖部署（GPU）从云端加载模型从本地加载模型部署（CPU）环境centos7.6CPU32GSSD>=40Gpython3.9pip23.1必备软件及安装
小生浩浩·2023-10-28 06:49

大模型知识蒸馏概述

吃果冻不吐果冻皮进NLP群—>加入NLP交流群近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本
zenRRan·2023-10-28 00:38

【模型部署】c++部署yolov5使用openvino

1.推理方式CPU推理GPU推理（要求电脑具备核显，即CPU中有嵌入显卡）2.openvino依赖项下载https://github.com/openvinotoolkit/openvino/releases直接解压（随便放到哪个路径）环境配置********（openvino所在路径）\runtime\bin\intel64\Release********\runtime\3rdparty\tb
只搬烫手的砖·2023-10-27 23:50

tensorrtx加速推理后，如何把80个分类转换为自己的分类个数

1，主要修改的是det.cpp文件，我将分类作为配置文件拿出来，修改一下在yolov5.det里添加函数：std::vectorread_gun_classes(std::stringfile_name){std::vectorclasses;std::ifstreamifs(file_name,std::ios::in);if(!ifs.is_open()){std::cerr<
鼾声鼾语·2023-10-27 21:17

Generative AI 新世界 | Falcon 40B 开源大模型的部署方式分析

本期文章，我们将重新回到文本生成的大模型部署场景，探讨如何在AmazonSageMaker上部署具有400亿参数的Falcon40B开源大模型。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。
亚马逊云开发者·2023-10-27 19:21

tensorRT 分类模型构建与推理

tensorRT分类模型构建与推理示例代码classifier.cpp//tensorRTinclude//编译用的头文件#include//onnx解析器的头文件#include//推理用的运行时头文件
洪流之源·2023-10-27 11:14

tensorRT trtexec命令常用参数

构建阶段--onnx=./model.onnx#指定onnx模型文件名--minShapes=input0:1x3x224x224#指定动态输入形状的范围最小值--optShapes=input0:8x3x224x224#指定动态输入形状的范围常见值--maxShapes=input0:16x3x224x224#指定动态输入形状的范围最大值--inputIOFormats=fp16:chw#指定模
洪流之源·2023-10-27 11:44

机器学习模型部署PMML

PMML简介预测模型标记语言PMML（PredictiveModelMarkupLanguage）是一套与平台和环境无关的模型表示语言，是目前表示机器学习模型的实际标准。从2001年发布的PMML1.1，到2019年最新4.4，PMML标准已经由最初的6个模型扩展到了17个模型，并且提供了挖掘模型（MiningModel）来组合多模型。PMML标准介绍PMML是一套基于XML的标准，通过XMLSc
闪闪发亮的小星星·2023-10-26 20:06

nndeploy：一款最新上线的支持多平台、简单易用、高性能的机器学习部署框架

作为一个多平台模型部署工具，我们的框架最大的宗旨就是高性能以及使用简单贴心，目前nndeploy已完成TensorRT、OpenVINO、ONNXRuntime、MNN、
nudt_qxx·2023-10-26 16:55

yolov5(v7.0版本)部署为onnx，openvino，TensorRT等模型并运行，踩坑分享(202303版，包含TensorRT安装)

前言最近在学习yolo相关的知识，关于yolo的原理，网络，代码等部分，互联网上已经有了比较充足的分享，基本上一路学来都比较顺利，在最后部署的部分碰到了一些小问题，简单记录一下，也供同样学习yolo模型的朋友们参考。大部分朋友学习yolo应该都是用的ultralytics发布在github上的yolov5代码，关于yolov5相关的介绍我就不废话了，虽然之前提到关于yolov5，网络上已经有了充分
qq_42160143·2023-10-26 16:52

Paddle 模型转 TensorRT加速模型

Paddle模型转TensorRT加速模型概述NVIDIATensorRT是一个高性能的深度学习预测库，可为深度学习推理应用程序提供低延迟和高吞吐量。
麻花地·2023-10-26 15:03

【人脸检测 FPS 1000+】ubuntu下libfacedetection tensorrt部署

TensorRT系列之Windows10下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov7tensorrt
韩师兄_·2023-10-26 13:09

win10下u2net tensorrt模型部署

TensorRT系列之Win10下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov8tensorrt模型加速部署TensorRT系列之Linux下yolov7tensorrt
韩师兄_·2023-10-26 13:08

TensorRT系列教程

TensorRT仓库TensorRT-Alpha：https://github.com/FeiYull/TensorRT-Alpha仓库使用CUDAC作图像加速，基于TensorRT推理模型，实现快速模型推理
韩师兄_·2023-10-26 13:08

cuda知识

查看cudnn版本：cat/usr/local/cuda/include/cudnn.h|grepCUDNN_MAJOR-A2#或者dpkg-l|grepcudnn                #查看tensorrt
zhuikefeng·2023-10-26 13:49

tensorrt的安装和使用

安装提前安装好CUDA和CUDNN，登录NVIDIA官方网站下载和主机CUDA版本适配的TensorRT压缩包即可。
zhuikefeng·2023-10-26 13:19

从零本地部署大模型（零基础友好版）

最近在做大模型，自己折腾了小半年，摸索出来了一些经验，写这篇blog的目的是为了让师弟师妹在模型部署的环节少走弯路，也能快速体验到LLM的智能，减少部署环节的痛苦如果是进行只需要跑通模型当前流行的6b7b
跃跃欲试88·2023-10-26 10:45

身份证识别，关键信息抽取，详细过程一步到位

安装标注工具，标注位置信息2.通过转换脚本，转换训练所需格式3.模型训练与预测三、关键信息提取1.标注身份证数据集的关键信息2.通过转换脚本，转换训练所需格式3.文件参数修改4.模型训练四、后处理改进代码五、模型部署前言本项目基于
一大口蛋黄酥·2023-10-25 03:26

轻量ViT王者 | EfficientFormerV2：全新轻量级视觉Transformer

点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！
自动驾驶之心·2023-10-25 01:59

一直报错找不到 cuGetErrorString和cuGetErrorName

一、三天，整整三天，一直找不到什么原因Linkworkspace/pro/usr/bin/ld:objs/tensorRT/common/cuda_tools.o:infunction`CUDATools
Little__Black·2023-10-25 00:12

【教程】-在rknn-toolkit2模拟器中验证测试语义分割模型Yolov5-seg

引言为了以后能够顺利的将模型部署在rk3568开发板中，我们首先要在rknn-toolkit2提供的模拟器环境中进行运行测试，从而保证所选模型能够在开发板上进行部署，测试环境是Ubuntu20.04。
计算机幻觉·2023-10-24 23:39

Python合并同类别且相交的矩形框

Python日常小操作专栏、YOLO系列专栏、自然语言处理专栏或我的个人主页查看基于DETR的人脸伪装检测YOLOv7训练自己的数据集（口罩检测）YOLOv8训练自己的数据集（足球检测）YOLOv5：TensorRT
FriendshipT·2023-10-24 07:57

YOLO V8语义分割模型部署

目录1配置pytorch环境2配置yolo环境3测试yoloV8的语义分割模型1配置pytorch环境我的电脑为Y9000P4090，英伟达显卡驱动版本为525.105.17，驱动显示最高的cuda版本号为12.0，cuda版本为11.6，cudnn版本号为8.5.0。Anaconda3版本为22.9.0。如下：对于跑yolo来说，我们创建python3.8环境。condacreate-nyopy
APS2023·2023-10-24 02:04

YOLO V8训练自己的数据集并测试

1YOLOV8部署2标注软件labelme安装3将labelme转化为YOLOV8支持的数据格式4开始训练5利用训练结果进行测试1YOLOV8部署我的一篇博客已经提到，这里不再赘述：YOLOV8语义分割模型部署
APS2023·2023-10-24 02:00

yolov8x-p2 实现 tensorrt 推理

简述在最开始的yolov8提供的不同size的版本，包括n、s、m、l、x（模型规模依次增大，通过depth,width,max_channels控制大小），这些都是通过P3、P4和P5提取图片特征；正常的yolov8对象检测模型输出层是P3、P4、P5三个输出层，为了提升对小目标的检测能力，新版本的yolov8已经包含了P2层（P2层做的卷积次数少，特征图的尺寸（分辨率）较大，更加利于小目标识别
J ..·2023-10-24 00:25

OpenMMlab导出swin-transformer模型并用onnxruntime和tensorrt推理

导出onnx文件通过mmpretrain导出swin-transformer的onnx文件非常容易，注意需设置opset_version=12这里是一个坑，刚开始设置的opset_version=11后续转换trtengine的时候会有问题。importtorchfrommmpretrainimportget_model,inference_modelmodel=get_model('swin-t
给算法爸爸上香·2023-10-23 20:42

tensorrtx报错：ModuleNotFoundError: No module named ‘utils.torch_utils‘，将pt模型转化为wts模型，需要在yolo工程下进行

在使用tensorrtx的时候报错：ModuleNotFoundError:Nomodulenamed‘utils.torch_utils’在使用tensorrtx的时候，要进行egine加速，需要将pt
鼾声鼾语·2023-10-23 19:26

tensorrtx can not determine linker language for target: myplugins，报错

注意动态链接库是直接生成的，不需要从其他地方获取，这个报错是路径问题或者没有生成的原因，解决方法１，查看是不是路径有问题２.这个错误通常发生在CMake试图为一个目标链接源文件，但是无法确定应该使用哪种语言进行链接。在你的情况下，myplugins库可能只包含了头文件（.h或.hpp），而没有源文件（.cpp或.cu）。CMake需要至少一个源文件来确定链接语言。你可以尝试在CMakeLists.
鼾声鼾语·2023-10-23 19:56

【OpenVINO】基于 OpenVINO Python API 部署 RT-DETR 模型

基于OpenVINOPythonAPI部署RT-DETR模型1.RT-DETR2.OpenVINO3.环境配置3.1模型下载环境3.2模型部署环境4.模型下载与转换4.1PaddlePaddle模型下载
椒颜皮皮虾྅·2023-10-23 17:00

tensorrt模型转换及优化

1.从百度下载TensorRT-5.0包：链接：https://pan.baidu.com/s/1buOjyLE5DPh6yLKK8e9Mrg提取码：834t2.解压包，然后cd至/TensorRT-5.0.2.6
未来真好·2023-10-22 16:56

UserWarning: Failed to load image Python extension: warn(f“Failed to load image Python extension: {e

TensorRTINT8calibrationpythonAPI-Jetson&EmbeddedSystems/JetsonAGXOrin-NVIDIADeveloperForums原因可能是从yolo5
无证驾驶梁嗖嗖·2023-10-22 06:27

PTQ量化和QAT量化

（计算每一层的scale）TensorRT提供的PTQ算法包括：EntropyCalibratorV2、Min
晓晓纳兰容若·2023-10-22 01:10

TensorRT学习笔记--常用卷积、激活、池化和FC层算子API

目录1--Tensor算子API1-1--卷积算子1-2--激活算子1-3--池化算子1-4--FC层算子2--代码实例3--编译运行1--Tensor算子APITensorRT提供了卷积层、激活函数和池化层三种最常用算子的
晓晓纳兰容若·2023-10-22 01:10

模型部署笔记--Pytorch-FX量化

目录1--Pytorch-FX量化2--校准模型3--代码实例3-1--主函数3-2--prepare_dataloader函数3-3--训练和测试函数1--Pytorch-FX量化Pytorch在torch.quantization.quantize_fx中提供了两个API，即prepare_fx和convert_fx。prepare_fx的作用是准备量化，其在输入模型里按照设定的规则qconf
晓晓纳兰容若·2023-10-22 01:36

ONNXRuntime、TensorRT扫盲

onnxruntime官方介绍：https://baijiahao.baidu.com/s?id=1619064549798705268&wfr=spider&for=pc个人笔记/理解：当地时间12月4日，微软在GitHub上宣布ONNXRuntime开源。ONNXRuntime是适用于Linux，Windows和Mac上ONNX格式的机器学习模型的高性能推理引擎。也就是onnxruntime是
weixin_43870390·2023-10-22 00:47

【ChatGLM2-6B】nginx转发配置

背景好不容易把ChatGLM2-6B大语言模型部署好了，使用streamlit方式启动起来了，终于可以愉快的玩耍了，然后想着申请一个域名，使用HTTPS协议访问，但实践过程中，发现这个大语言模型的nginx
太空眼睛·2023-10-21 18:05

ROS学习记录

ROS学习记录1.系统环境Ubuntu16.04CUDA10.2cudnn7.6.5TensorRT7.1.3.4奥比中光astra-mini摄像头2.ROS系统路径/root/catkin_ws3.相关指令
Alex-Leung·2023-10-21 14:58

基于YOLOv5s的火焰检测在jetson nano边缘计算设备上的部署（使用tensorrt加速，Deepstream视频推流SDK）

前情提要：本文章是我自己一点点的小感悟，是整个大框架的分析与大的流程，不是你们想要的具体过程，但是如果你们仔细阅读下这篇文章，有一个大局的观念，会对项目流程有一个清晰的认识与想法，效果可能比那些细的流程的文章要好些，也因人而异吧，所以提前告知下大家。咱们来说下这次课设让做的一个基于人体关键点检测的姿势识别或者跌倒检测的一个项目，我打算基于openpose这个算法做，需要用什么VGA网络训练啥的，我
低龄儿童·2023-10-21 11:23

模型部署踩坑(持续更新ing)

文章目录模型部署踩坑踩坑1踩坑2踩坑3踩坑4踩坑5模型部署踩坑踩坑1FLOPs不能衡量模型性能，因为FLOPs只是模型计算大小的单位还需要考虑访存量跟计算无关的DNN部分(reshape,shortcut
莫余·2023-10-21 06:09

将Keras模型迁移到android端（android studio）

环境：win8python3.5.4TensorFlow1.7.0AndroidStudio3.1.1把模型部署到安卓设备上总体的步骤如下:将训练好的模型转换成TensorFlow格式向安卓应用添加TensorFlowMobile
用一个不重复的昵称·2023-10-21 05:52
上一页 7 8 9 10 11 12 13 14 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他