模型部署（tensorRT) 第25页

Linux深入浅出PyTorch（六）PyTorch生态简介及模型部署

目录一、PyTorch生态简介1.图像-`torchvision`（1）简介（2）`torchvision.datasets`（2）`torchvision.tramsforms`（3）`torchvision.models`（4）`torchvision.io`（5）`torchvision.ops`（6）`torchvision.utils`2.视频-`PyTorchVideo`（1）安装（2

坚持不懈的小白白·2023-03-30 17:59

直播预告|TVM新增算子赛题讲解及在Imagination NNA上完成飞桨3D模型部署

日前，由深度学习技术及应用国家工程研究中心主办，飞桨承办的第四期飞桨黑客马拉松PaddlePadddleHackathon已经正式开启，并正在持续招募开发者。本期比赛特别设置了TVM任务专区，飞桨与Imagination携手发布多个基于TVM的开发任务，邀请开发者了解并参与深度学习开源项目的共建，旨在鼓励开发者参与深度学习开源项目的共建。为了让开发者全面了解飞桨开发，更快上手开发任务，黑客松组委会

Imagination官方博客·2023-03-30 12:43

今晚7点 | TVM新增算子赛题讲解及在Imagination NNA上完成飞桨3D模型部署

日前，由深度学习技术及应用国家工程研究中心主办，飞桨承办的第四期飞桨黑客马拉松PaddlePadddleHackathon已经正式开启，并正在持续招募开发者。本期比赛特别设置了TVM任务专区，飞桨与Imagination携手发布多个基于TVM的开发任务，邀请开发者了解并参与深度学习开源项目的共建，旨在鼓励开发者参与深度学习开源项目的共建。为了让开发者全面了解飞桨开发，更快上手开发任务，黑客松组委会

Imagination官方博客·2023-03-30 12:43

TensorRT7.0学习:由于找不到cudnn64_7.dll （win+vs2017+CUDA10.2）

正在安装TensorRT,配好了库，但出了这么一个报错，如题目中。我想运行附带的手写数字分类例程这个错误，我找了很久，也没发现相关的资料。起初以为是路径include的少了，但后来发现，并非如此。

拓扑凝聚态·2023-03-30 05:38

paddlepaddle serving部署提示 libncurses.so.6: cannot open shared object file: No such file or directory

errorwhileloadingsharedlibraries:libncurses.so.6:cannotopensharedobjectfile:Nosuchfileordirectory出现以上错误需安装TensorRThttps

程有理·2023-03-30 03:07

TensorRT详细入门指北，如果你还不了解TensorRT，过来看看吧！

前言大名鼎鼎的TensorRT有多牛逼就不多说了，因为确实很好用。

OLDPAN·2023-03-29 18:44

Yolov5-6.0官方源代码骨干解析，并使用TensorRT加速推理，最后封装成API

这里写目录标题YOLOV5模型源码的详细解析，先从模型结构开始，再到数据的预处理阶段，然后模型推理阶段Detect，最后使用TensorRT部署加速，基于Flask封装成api方便调用。

鲲到底有多大·2023-03-29 14:37

YOLOv5的详细使用教程（优秀博客收录）

训练自己的数据集https://shliang.blog.csdn.net/article/details/1067852532、【小白CV】手把手教你用YOLOv5训练自己的数据集（从Windows环境配置到模型部署

qinwsq·2023-03-29 14:31

paddleocr-tensorrt加速-Serving部署

代码准备下载2.0版本以上的paddleocr：paddleocr2.0以上的在训练自己模型的时候有参数：load_static_weights:True#是否将预训练模型保存在静态图形模式所以，只要安装好了tensorrt

欧菲斯集团·2023-03-29 08:21

模型部署之 ONNX ONNXRuntime

通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用Pytorch，有的同学喜欢使用TensorFLow，也有的喜欢MXNet，以及深度学习最开始流行的Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，在模型进行部署推理时就需要不同的依赖库，而且同一个框架比如tensorflow不同的版本之间的差异较大，为了解决这个混乱问题，LFAI这个组织联合Facebook,Micro

默写年华Antifragile·2023-03-29 07:59

yolov7—tensorrt报错AttributeError: ‘NoneType‘ object has no attribute ‘execute_v2‘已解决。

这个bug我整了好久，不管怎么搜索资料就是解决不了，还好我脑袋突然灵光一闪，想到我自己使用的是cuda10.2版本的，而cuda10.2版本是有两个额外的修复包，我去下载并安装完后，再把tensorrt

爱笑的男孩。·2023-03-29 07:53

研究团队用TensorRT将实时对象检测性能提高6倍

文章来源：ATYUNAI平台SKTelecom的研究人员开发了一种新方法，用NVIDIATensorRT高性能深度学习推理引擎使基于深度学习的对象检测加速。

whale52hertz·2023-03-29 05:56

Linux centos7 安装TensorRT

注意：a、主要两个文件：TensorRT、pycuda包文件。b、tensorRT需要到官网下载后解压到固定的系统文件夹下即可。pycuda则是直接使用pip安装即可。

我是胡歌·2023-03-29 04:06

【TensorRT】基于C#调用TensorRT 部署Yolov5模型 - 下篇：部署Yolov5模型

基于C#调用TensorRT部署Yolov5模型3.1新建C#项目3.2添加OpenCVsharp3.3添加项目引用3.4TensorRT部署Yolov5模型1.引入模型相关信息2.初始化推理核心类3.

椒颜皮皮虾྅·2023-03-29 02:45

BERT使用心得经验分享

开始还担心Bert模型部署在客户的机器上能否正常运行。后面测试发现，如果没有太高的并发，其实在预测阶段对显存的消耗并不高，大概1-2G显存即可。2，模型速度使用Bert模型一定要跑在GPU上

胡文祥lyy·2023-03-28 14:54

GPU推理服务性能优化之路｜得物技术

最终通过两项关键的技术:1.Python的GPU与CPU进程分离，2.使用TensorRT对模型进行加速，使得线上大部分模型服务QPS提升5-10倍左右，大量节约了线上GPU推理服务的成本。

得物技术·2023-03-26 09:51

Jetson Nano配置YOLOv5并实现FPS=25

镜像下载、域名解析、时间同步请点击阿里云开源镜像站一、版本说明JetPack4.6——2021.8yolov5-v6.0版本使用的为yolov5的yolov5n.pt，并利用tensorrtx进行加速推理

萌褚·2023-03-26 06:31

pytorch搭建手写数字识别LeNet-5网络，并用tensorRT部署

pytorch搭建手写数字识别LeNet-5网络，并用tensorRT部署前言1、pytorch搭建LeNet-5，并转为ONNX格式1.1LeNet-5网络介绍1.2ONNX(OpenNeuralNetworkExchange

小广向前进·2023-03-25 12:18

轻量主干新SOTA！GhostNetV2：长距离注意力机制增强（北大&诺亚）

作者|科技猛兽编辑|极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码

自动驾驶之心·2023-03-25 07:08

FPS游戏实战数据集|yolov8训练模型导出|C/C++项目|驱动鼠标模拟人工|加密狗USB硬件虚拟化

目录数据集准备训练模型模型部署总结YOLO（YouOnlyLookOnce）是一种基于深度学习的目标检测算法，能够快速准确地识别图像中的目标。

陈子青 - See·2023-03-25 07:06

YOLOv8改进开源 | YOLOv8模型改进+部署、样本匹配升级、量化、剪枝、蒸馏

人工智能与算法学习·2023-03-23 22:47

pytorch经onnx转tensorrt初体验（上）

pytorch转成tensorrt时需要利用中间件onnx，所以第一步需要将pytorch模型转成onnx格式。onnx其实相当于以通用格式保存网络的计算图。

熙熙江湖·2023-03-23 20:22

GTC CHINA 2019 | 黄仁勋发表主题演讲，多项创新技术与合作全面助力 AI 加速落地

TensorRT

CSDN云计算·2023-03-23 07:35

[C#][原创]使用C#部署yolov7的tensorrt模型

要说C#当前做深度学习能力很弱，但是源于对C++非常友好的接口，使得C#做界面，C++做算法非常适合，因此你问我目前在C#方面最好的深度学习部署方式是什么？我只能说是调用C++接口，目前github或者其他开源网站都有各种C#版本的深度学习部署库，比如yolov5-net,yolov7-net但是这些库的速度都是非常感人的，他们大多数是通过onnx作为推理对象，这得益于微软的Onnxrumtime

未来自主研究中心·2023-03-23 02:03

keras模型转换为onnx模型推理，记录实现过程

之前成功将pytorch下的bert模型转换为onnx及tensorrt框架下的模型进行推理，特别在在tensor框架下，推理速度估算是提高了3-4倍（估算，跟显卡及设置的batch_size大小有关）

weixin_49525852·2023-03-22 15:06

从PyTorch导出ONNX使用TensorRT模型加速

虚拟环境安装CUDA路径】_condacuda安装目录_一苇以航_aw的博客-CSDN博客（在大部分的场景我们都需要查看自己配置的环境）这里给了python检测环境的方法：importtorchimporttensorrtprint

认真点，，·2023-03-22 14:01

Kaggle实战入门：泰坦尼克号生还预测（基础版）

Kaggle实战入门：泰坦尼克号生还预测1.加载数据2.特征工程3.模型训练4.模型部署泰坦尼克号（Titanic），又称铁达尼号，是当时世界上体积最庞大、内部设施最豪华的客运轮船，有“永不沉没”的美誉

机器学习Zero·2023-03-22 07:55

Kaggle实战入门：泰坦尼克号生还预测（进阶版）

Kaggle实战入门：泰坦尼克号生还预测1.加载数据2.特征工程3.模型训练4.模型部署Kaggle实战入门：泰坦尼克号生还预测（基础版）对机器学习的全流程进行了总体介绍。

机器学习Zero·2023-03-22 07:21

【玩转Jetson TX2 NX】（五）TX2 NX TensorRT环境搭建及实时图像识别（详细教程+错误解决）

1TensorRT环境搭建首先介绍搭建流程和关键点：网络一定要稳定，网速要好安装几个包sudoapt-getinstalllibpython3-devsudoapt-getinstallpython3-

鲁棒最小二乘支持向量机·2023-03-21 14:36

清华 ChatGLM-6B 中文对话模型部署简易教程

本文目录一、前言二、下载三、部署3.1配置环境3.2启动demo程序3.2.1启动cli_demo.py3.2.2启动web_demo.py四、【最新】ChatGLM-6B-int4版本教程4.1下载4.2配置环境4.3启动demo程序五、小结一、前言近期，清华开源了其中文对话大模型的小参数量版本ChatGLM-6B（GitHub地址：https://github.com/THUDM/ChatGL

---Olive---·2023-03-21 07:09

AI模型在移动设备的部署

作者：声网Agora周世付近年来，随着AI技术的快速发展，AI模型部署到移动端设备的需求越来越强烈。

声网·2023-03-19 06:57

python获取C++动态so库的输出/错误

比如TensorRT模型生成中的报错信息，[TensorRT]ERROR:..

qizhen816·2023-03-17 16:13

docker部署ubuntu18.04深度学习环境——cuda11.1、cudnn8.0.5、pytorch1.8.0、tensorrt7.2.2.3、opencv4.4.0

docker3Docker修改容器默认存储位置4安装dockercompose5安装nvidia-docker6下载nvidiaCUDA镜像7安装python3.8环境8安装pytorch1.89安装tensorrt7.2.2.3

June vinvin·2023-03-16 13:10

Pytorch入门

张量3.2张量乘法3.3自动微分4.构建神经网络41构建LeNet5示例4.2LeNet5图像分类器4.3导入、处理图像数据4.4自定义求导函数4.5动态图示例4.6.迁移学习4.7模型保存和加载4.8模型部署

小琳猫·2023-03-16 07:59

ncnn部署（CMakelists.txt）

1.NCNN环境安装参考博客:基于ncnn的yolov5模型部署1.1protobuf编译打开VS2013/VS2019的X64命令行（注意不是cmd）,我这里以V32013环境进行编译>cd>mkdirbuild-vs2013

@BangBang·2023-03-15 20:13

06TensorFlow 2 新特性快速入门

在任意平台上实现稳健的生产环境模型部署。为研究提供强大的实验工具。通过清理废弃的API和减少重复来简化API。importtensorflowastftf.

Jachin111·2023-03-14 14:42

深度学习实战——不同方式的模型部署（CNN、Yolo）

github.com/yiru1225（转载标明出处勿白嫖starforprojectsthanks）目录系列文章目录一、实验综述1.实验工具及及内容2.实验数据3.实验目标4.实验步骤二、ML/DL任务综述与模型部署知识补充

@李忆如·2023-03-14 10:03

机器学习整理

预测（实际预测时产生的数据继续拿来训练迭代，滚雪球模型会越来越好记得保存每个阶段的模型方便回滚）未来数据的分布可能发生变化，需要更新模型做算法需要一个行业专家-行业上的指导然后数据科学家-偏全栈模型训练模型部署资源管理

星尘逸风·2023-03-14 07:26

PointPillar 3D目标检测模型详解

pointpillars论文PointPillars-gitbook_docs使用NVIDIACUDA-Pointpillars检测点云中的对象3D点云(Lidar)检测入门篇-PointPillarsPyTorch实现模型部署入门教程

花花少年·2023-03-13 07:08

ubuntu 22.04 开发OpenCV ncnn tengin-lite环境搭建

1.基本说明ncnn和tengine都是神经网络模型部署到嵌入式端的高性能神经网络推理计算框架，opencv是比较著名的图像处理c++函数库，ncnn和tengine不需要依赖opencv。

守护安静星空·2023-03-12 12:53

睿智的目标检测——YoloV7-Tiny-OBB旋转目标检测算法部署

YoloV7-OBB旋转目标检测算法部署学习前言源码下载安装TensorRT1.TensorRT简介2.下载TensorRT3.TensorRT安装安装torch2trt1.torch2trt简介2.torch2trt

_白鹭先生_·2023-03-12 07:16

YOLOv6 PyTorch模型转TensorRT

文章目录YOLOv6PyTorch模型转TensorRT1.github开源代码2.PyTorch模型转ONNX模型3.ONNX模型转TensorRT模型3.1概述3.2编译3.3运行4.推理结果YOLOv6PyTorch

令狐傻笑·2023-03-12 07:38

yolov7 PyTorch模型转TensorRT

文章目录yolov7PyTorch模型转TensorRT1.github开源代码2.PyTorch模型转ONNX模型3.ONNX模型转TensorRT模型3.1概述3.2编译3.3运行4.推理结果yolov7PyTorch

令狐傻笑·2023-03-12 07:38

PPQ库中KLD算法实现代码解析

PPQ算法实现nvidia发布的PPT：8-bitInferencewithTensorRT，百度可下载。下两图是KLD算法的实现伪代码：下图是PPQ算法的实现过程：见http

是江姑娘呀·2023-03-09 10:27

机器学习如何驱动业务实践？你想知道的都在这！

使用由AWS与Meta合作构建和维护的PyTorch模型服务库TorchServe，PyTorch开发人员可以快速轻松地将模型部署到生产环境中。ML主题系

人工智能与算法学习·2023-03-09 07:19

TensorRT工作手册

_牛先生_·2023-02-26 07:35

论文（四）YOLOv4解读及一些思考

neck）6.FPN+PAN（neck）7.Prediction创新（1）CIOU_loss（2）DIOU_nms8.YoloV4相关代码8.1python代码8.2C++代码8.3python版本的Tensorrt

weixin_40227656·2023-02-25 21:06

YOLO之trt推理+Diou/iou目标跟踪以及计数【附代码】

本篇文章是对之前YOLOv4tensorrt推理项目的更新，在trt推理，多进程语音报警的功能中又新添加了目标跟踪【可用于目标计数】采用IOU进行跟踪【也可以选用DIOU】。

爱吃肉的鹏·2023-02-25 21:05

深入浅出Yolo系列之Yolov3&Yolov4&Yolov5核心基础知识完整讲解

核心基础知识完整讲解1.论文汇总2.YoloV3核心基础内容2.1网络结构可视化2.2网络结构图2.3核心基础内容3.YoloV3相关代码3.1python代码3.2C++代码3.3python版本的Tensorrt

yhwang-hub·2023-02-25 21:05

fp32和int8模型的区别_从TensorRT看INT8量化原理

1LowPrecisionInference现有的深度学习框架比如：TensorFlow，pytorch，Caffe，MixNet等，在训练一个深度神经网络时，往往都会使用float32(FullPrecise，简称FP32)的数据精度来表示，权值、偏置、激活值等。但是如果一个网络很深的话，比如像VGG，ResNet这种，网络参数是极其多的，计算量就更多了(比如VGG19.6billionFLOP

weixin_40003451·2023-02-23 16:36

推荐频道

模型部署（tensorRT)