模型部署（tensorRT)

pytorch搭建squeezenet网络的整套工程，及其转tensorrt进行cuda加速

本来，前辈们用caffe搭建了一个squeezenet的工程，用起来也还行，但考虑到caffe的停更后续转trt应用在工程上时可能会有版本的问题所以搭建了一个pytorch版本的。以下的环境搭建不再细说，主要就是pyorch，其余的需要什么pipinstall什么。网络搭建squeezenet的网络结构及其具体的参数如下：后续对着这张表进行查看每层的输出时偶然发现这张表有问题，一张224×224的
诶尔法Alpha·2023-09-07 16:23

CUDA 基础指南(一): 环境配置与基础概念

环境配置CUDA软件生态自顶向下结构大致如下:Applications:CuLibraries:CuBlas,CuDLA,TensorRT等CUDAtoolkit:GPUDriver:GPUdevices
·2023-09-07 12:18

[复现笔记] jetson_dla_tutorial复现笔记

前言本文描述以下知识点：1.基于cifar-10的模型训练，导出，转换为tensorrt模型，并使用Nsight分析；2.tensorRTPythonAPI，并进行数据校准（Calibration）和模型评估
·2023-09-07 11:43

Linux (CentOS)安装torch2.0.0 +tensorflow2.12.0 +NVIDIA530.30.02 +CUDA12.1.1 +cuDNN8.9.0 +TensorRT8.6.0

Linux（CentOS）安装NVIDIA530.30.02+CUDA12.1.1+cuDNN8.9.0+torch2.0.0+tensorflow2.12.0NVIDIAwgethttps://us.download.nvidia.cn/XFree86/Linux-x86_64/530.30.02/NVIDIA-Linux-x86_64-530.30.02.run如果wget无法连接，可以直接打
内卷焦虑人士·2023-09-07 10:39

tensorrtx部署yolov5 6.0

文章目录一.yolov5v6.0训练模型二.训练好的yolov5模型转tensorrt引擎一.yolov5v6.0训练模型官网下载yolov5v6.0代码下载官方预训练好的模型安装yolov5所需要的库文件
AoDeLuo·2023-09-07 07:30

基于任务队列的机器学习服务实现

将机器模型部署到生产环境的方法有很多。常见的方法之一是将其实现为Web服务。最流行的类型是RESTAPI。
新缸中之脑·2023-09-07 04:48

pytorch自定义算子并导出onnx计算图详细代码教程

(torch_env)root@f123:/mnt/d/work/learning-cuda-trt/learning-cuda-trt-main/tensorrt-basic-1.8-integrate-easyplugin
a flying bird·2023-09-06 20:08

Generative AI 新世界 | Falcon 40B 开源大模型的部署方式分析

本期文章，我们将重新回到文本生成的大模型部署场景，探讨如何在AmazonSageMaker上部署具有400亿参数的Falcon40B开源大模型。
亚马逊云开发者·2023-09-06 18:32

论文复现--lightweight-human-pose-estimation-3d-demo.pytorch(单视角多人3D实时动作捕捉DEMO)

lightweight-human-pose-estimation-3d-demo.pytorch所需环境：Windows10，conda4.13.0；目录conda环境配置安装Pytorch全家桶安装TensorRT
Doggerlas·2023-09-06 13:39

10个常用于数据分析的python方法

数据科学家的日常工作涉及各种任务，例如数据预处理、数据分析、机器学习模型创建、模型部署。如果您开始成为数据科学家的旅程，那么第一步就是掌握数据操作的技能，因为几乎每个数据科学项目都需要它。
紫色沙·2023-09-06 05:52

模型部署

一、深度模型线上部署1、预训练embedding+轻量级模型复杂网络离线训练，生成embedding存入内存数据库，线上实现LR或浅层NN等轻量级模型拟合优化目标；（1）分别用复杂网络对“用户特征”和“广告特征”进行了embedding化，在最后的交叉层之前，用户特征和广告特征之间没有任何交互，这就形成了两个独立的“塔”，因此称为双塔模型。最终的用户embedding和广告embedding存入内
inspiredhss·2023-09-05 22:13

ESPFriends之ESP32模型部署训练历险记(一)

开发环境的部署搭建超级小星星：时间过得可真快ESPFriends创客沙龙已经在武汉举办了两期，在这里有行业内的工程师、高校的学生以及极客，在这里我们交流分享自己的开发心得，提出遇到的“大坑”也可以得到小伙伴们的解决方案，希望活动可以越办越好，在这里我也记录一下自己的开发历程和学习心得与大家共勉。内容源码地址：link本期的主题是模型的训练与部署，AI这个东西确实很神奇，我们之所以感觉这东西很“虚”
超级小星星·2023-09-05 21:32

Stable Diffusion在各种显卡上的加速方式测试，最高可以提速211.2%

所以研究人员就创造了各种提高其速度的方式，比如Xformers、Aitemplate、TensorRT和onflow。在本文中我们将对这些加速方法进行了一系列对比测试。
·2023-09-05 18:13

CUDA 基础指南(一): 环境配置与基础概念

环境配置CUDA软件生态自顶向下结构大致如下:Applications:CuLibraries:CuBlas,CuDLA,TensorRT等CUDAtoolkit:GPUDriver:GPUdevices
·2023-09-05 18:13

tensorflow集成tensorRT及原理分析

版本号：cuda-10.0&&cudnn7.3&&tensorflow1.13&&tensorRT5.0.2.6&&T4GPU使用：在tensorflow里graph换成tensorRT返回的graph
lwtzzz·2023-09-05 08:56

使用 Amazon SageMaker 微调和部署 ChatGLM 模型

本篇文章主要介绍如何使用AmazonSageMaker进行ChatGLM模型部署和微调的示例。
亚马逊云开发者·2023-09-05 04:17

9.1.tensorRT高级(4)封装系列-自动驾驶案例项目self-driving-道路分割分析

目录前言1.道路分割总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-09-05 04:44

tensorRT从零起步高性能部署：课程总结

目录前言1.cuda驱动API2.cuda运行时API3.tensorRT基础4.tensorRT高级5.tensorRT封装6.自动驾驶案例项目总结前言杜老师推出的tensorRT从零起步高性能部署课程
爱听歌的周童鞋·2023-09-04 14:45

9.2.tensorRT高级(4)封装系列-自动驾驶案例项目self-driving-深度估计

目录前言1.深度估计总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-09-04 14:15

9.3.tensorRT高级(4)封装系列-自动驾驶案例项目self-driving-车道线检测

目录前言1.车道线检测总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-09-04 14:15

9.4.tensorRT高级(4)封装系列-使用pybind11为python开发扩展模块

目录前言1.pybind112.补充知识2.1pybind11介绍总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。
爱听歌的周童鞋·2023-09-04 14:44

TensorRT来加速YOLO v5推理与检测

TensorRT来加速YOLOv5推理与检测文章目录TensorRT来加速YOLOv5推理与检测TensorRT简介一、TensorRT安装1.电脑基础环境2.查看cuda版本3.安装TensorRT4
小啊磊_Vv·2023-09-04 10:25

Windows系统下MMDeploy预编译包的使用

预编译包的使用MMDeploy步入v1版本后安装/使用难度大幅下降，这里以部署MMDetection项目的FasterR-CNN模型为例，将PyTorch模型转换为ONNX进而转换为Engine模型，部署到TensorRT
红烧code·2023-09-04 07:28

【mindspore学习】环境配置

本次实验搭配的环境是CUDA11.6+CUDNNv8.9.4+TensorRT-8.4.1.5+mindspore2.1.0。
renlei2293·2023-09-04 05:48

[Yolov5] 将 yolov5 模型部署在 Ubuntu 上的 ROS

我用的是yolov5v6.0版本。虚拟机为VM。Ubuntu的版本是20.04。相应的onnx各种包的版本如下图。1）导出onnx格式的模型。TIPS:一定要加--weightsyolov5s.pt，否则将从Yolov5的官网下载最新的你现在使用yolov5的对应的权重文件，而这权重文件的版本可能不会和你的yolov5的版本相对应，臂如你的yolov5是v5版本的，而下载的权重文件是v7版本的，而
史迪幼仔·2023-09-03 16:00

YOLOv8目标检测实战：TensorRT加速部署（视频教程）

TensorRT是针对英伟达GPU的加速工具。本课程讲述如何使用TensorRT对YOLOv8目标检测进行加速和部署。
bai666ai·2023-09-03 07:54

2020年下半年软件设计师下午真题及答案解析

(2)检测模型部署。管理员对常用机器学习方法建立检测模型分布。(3)图像采集。实时将检测多样的产品待检测建分存储，包括产品结构，生产时间，图像信号和产品图像。(4)缺陷检测。根据检测模型和检
任铄·2023-09-02 10:32

Ubuntu TensorRT安装（python API）

前言TensorRT是由Nvidia开发的一种用于深度学习模型推理的算法库，支持C++和PythonAPI，基于这个架构对深度模型进行优化后能够降低识别模型的推理延迟，增加模型数据吞吐量，提高模型的识别的实时性
0点618·2023-09-02 09:25

Ubuntu18.04安装tensorRT来部署模型

安装tensorRT（1）查看自己的cuda和cudnn版本cat/usr/local/cuda/version.txtcat/usr/local/cuda/include/cudnn.h|grepCUDNN_MAJOR-A2
liguiyuan112·2023-09-02 09:25

ubuntu TENSORRT安装

参考https://blog.csdn.net/calmuse/article/details/93616720?ops_request_misc=%25257B%252522request%25255Fid%252522%25253A%252522160877518616780279144414%252522%25252C%252522scm%252522%25253A%252522201407
Godlovesea·2023-09-02 09:25

Ubuntu18中安装TensorRT

1、下载TensorRT下载地址：https://developer.nvidia.com/nvidia-tensorrt-download需要登录nvidia官网，还得回答问题，随便填即可建议选择压缩包版本我选择的是
别跟我der喝的嗷·2023-09-02 09:25

Ubuntu18.04 TensorRT软件安装顺序

系统：lsb_release-aNoLSBmodulesareavailable.DistributorID:UbuntuDescription:Ubuntu18.04.6LTSRelease:18.04Codename:bionic显卡驱动：nvidia-smiFriMay2618:42:392023+-----------------------------------------------
夏天了啊·2023-09-02 09:25

Ubuntu TensorRT安装

检查是否安装成功2.1其它环境1.1环境1）Ubuntu20.042）cuda111+torch1.8.0+py381.2下载地址https://developer.nvidia.com/nvidia-tensorrt-download1
圆嘟嘟2019·2023-09-02 09:54

【Ubuntu版】TensorRT安装教程（deb方式）

一、参考资料TensorRT教程（一）：安装TensorRT二、注意事项CUDA，cuDNN，TensorRT都需要deb方式安装，否则报错三、关键步骤下载tensorRT解压tensorRTAnaconda
花花少年·2023-09-02 09:24

记录我的tensorrt 部署yolov8

系统：ubuntu18.04代码：GitHub-noahmr/yolov5-tensorrt:Real-timeobjectdetectionwithYOLOv5andTensorRTconda环境：GitHub-noahmr
临街的小孩·2023-09-02 09:53

Ubuntu Tensorrt安装教程

UbuntuTensorrt安装教程1、下载tensorrt2、安装tensorrt1、下载tensorrt本文安装采用的是tar压缩包进行安装,安装环境为：Ubuntu18.04、cuda11.0、cudnn8.04
Dream_csd·2023-09-02 09:22

【模型转化】修改onnx节点属性

在之前的一篇文章【模型转换】onnx转tensorrt报错:Attributenotfound:axes中提到squeeze操作在不明确指定axes参数时onnx转tensorrt会报错。
昌山小屋·2023-09-02 00:17

Kubeflow Pipelines介绍与实例

1.背景MLcode仅是MachineLearningsystems中的一小部分，像数据收集、特征抽取、配置管理、资源管理、模型部署、模型监控等同样十分的重要。
Pistachiout·2023-09-01 04:11

KubeFlow组件介绍

kubeflow是一个胶水项目，它把诸多对机器学习的支持，比如模型训练，超参数训练，模型部署等进行组合并已容器化的方式进行部署，提供整个流程各个系统的高可用及方便的进行扩展部署了kubeflow的用户就可以利用它进行不同的机器学习任务
Pistachiout·2023-09-01 04:08

deepstream指北——python接口的使用

Ubuntu20.04.5显卡：GTX1070，8G显存软件版本：（1）deepstream：6.1.1（2）显卡驱动版本：515.76（3）CUDA版本：11.7.1（4）cudnn版本：8.6.0（5）TensorRT
lokvke·2023-08-31 20:50

Sanic框架下部署Pytorch模型

前言本文针对业余范围的Pytorch模型部署，类似各位想把自己开发的深度学习模型上线web端demo等等。
孟大师·2023-08-31 13:17

ubuntu系统安装tensorRT-8.6.1版本（2023-8月最新版）

目录前言pip安装可能出现的报错：tar.gz安装前言看了无数教程和b站视频，啊啊啊啊啊啊啊啊啊啊啊tensorRT要我狗命啊。我要写全网tensorRT最全的博客!!!
是江姑娘呀·2023-08-30 20:32

【VScode模型部署】输出结果不一致的问题

问：在Python中训练好的pb模型，拿到VScode的C＋＋程序中进行调用，结果在相同的数据下产生不同的输出结果ChatGPT：如果您在Python中训练好了一个.pb模型，并尝试在VSCode的C++程序中进行调用，但是产生了不同的输出结果，可能有以下原因：TensorFlow版本不一致：确保在Python和C++中使用相同版本的TensorFlow。不同版本的TensorFlow可能在底层运
dataloading·2023-08-30 16:00

【VScode推理模型部署】ONNX runtime

推理模型部署(一)：ONNXruntime实践VSCode配置之OnnxRuntime(CPU)&&YOLOv7验证简单来说，对于机器学习模型过程可分为训练迭代和部署上线两个方面：训练迭代，即通过特定的数据集
dataloading·2023-08-30 16:53

安卓端部署PPOCR的ncnn模型——模型部署

包括文本检测和文本识别）在安卓端的部署，由于工作中用到的算法是基于百度研发的PPOCR算法，最终需要在安卓端落地应用，部署框架使用的是ncnn框架，中间涉及模型转换和部署的问题，所以特意在此做一个记录，本文主要讲一下模型部署的问题
彧侠·2023-08-30 14:41

deepstream6.1-YOLOv5部署

常用安装包的路径/usr/local/cuda/home/hlj/TensorRT-8.2.5.1//opt/nvidia/deepstream/deepstream/home/hlj/anaconda3
爱吃油淋鸡的莫何·2023-08-30 12:32

＜TensorRT＞ 下载及部署

TensorRT-下载及部署1、下载前相关查询查看显卡驱动版本：nvidia-smi查看cuda版本：nvcc-Vcuda与显卡驱动对应表：https://docs.nvidia.com/cuda/cuda-toolkit-release-notes
thisiszdy·2023-08-29 08:24

用YOLOv5代码训练模型并部署到Android客户端

RuntimeError:CUDAerror:nokernelimageisavailableforexecutiononthedevice（2）在vscode上使用tensorboard将YOLOv5训练得到的模型部署到
ShmilySiu·2023-08-29 07:30

Llama-2大模型本地部署研究与应用测试

目前正在开展大模型部署应用测试，
一马平川的大草原·2023-08-28 17:38

YOLOv5全面解析教程⑧：将训练好的YOLOv5权重导为其它框架格式

欢迎大家到这里查看本篇文章的完整版本：https://start.oneflow.org/oneflow-yolo-doc/tutorials/06_chapter/export_onnx_tflite_tensorrt.html2
OneFlow深度学习框架·2023-08-28 09:19
上一页 11 12 13 14 15 16 17 18 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他