模型部署（tensorRT)

ubuntu20安装tensorRT

大体来说安装的方法有两种：用run安装cuda,用wheel安装tensorrt，好处是可以自己选驱动的版本；（大多数人选择的的方法，也是本文介绍的方法）如果想安装tensorRT的deb版本，cuda
·2023-08-16 10:19

模型量化转int8

在模型部署阶段，考虑到模型大小，通常会做量化，其中一种方式是把模型输出转成int8，这样可以节省存储空间。
jp_666·2023-08-16 00:55

清北「学渣」创业心路：AI 新时代已来，不参与对不起自己

关键词：AIGCOAISIS团队大模型部署本文首发自HyperAI超神经微信公众平台~黑客马拉松是一种源于美国硅谷等地的技术活动，其具体方式是汇
·2023-08-15 16:52

大模型时代和传统机器学习时代工具栈侧重点有所不同

我们认为AI=Data+Code，历经数据准备、模型训练、模型部署、产品整合，分环节看：►数据准备：高质量标注数据、特征库需求持续，合成数据或成未来趋势。
LCHub低代码社区·2023-08-15 15:13

训练自己的图像分类模型部署在手机设备

这里使用aidlux在手机上使用摄像头作为输入，利用aidlux提供的接口载入模型，实时推理使用代码模版，将模型替换为自己的，看看演示效果，我的手机比较卡，版本太老，所以效果差点，你也可以使用比较新的设备来运行
合格的程序员·2023-08-14 23:18

onnx 需要指定provider

ValueError:ThisORTbuildhas['TensorrtExecutionProvider','CUDAExecutionProvider','CPUExecutionProvider'
落花逐流水·2023-08-14 15:18

Pytorch通过LIBTORCH实现C++部署

C++部署模型在人工智能领域，Python受到学术界的追捧，模型训练比模型部署性能更加重要。然而在实际终端部署方面，低延迟、可移植性和可适用性的需求使得Python成为一个比较差的语言。
Thomas_xiaoding·2023-08-14 14:18

7.2.tensorRT高级(2)-学习深度学习中涉及的线程知识

目录前言1.多线程2.问答环节2.1线程启动相关问题2.2线程启动函数参数相关问题总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。
爱听歌的周童鞋·2023-08-14 07:54

AI Infra工具关键能力解析：数据准备、模型训练、模型部署与整合

在预训练大模型时代，我们可以从应用落地过程里提炼出标准化的工作流，AIInfra的投资机会得以演绎。传统ML时代AI模型通用性较低，项目落地停留在“手工作坊”阶段，流程难以统一规范。而大规模预训练模型统一了“从0到1”的技术路径，具备解决问题的泛化能力，能够赋能“从1到100”的各类应用，并存在相对标准化的工作流，由此衍生出AIInfra投资机会。GPT4的开发经验也体现专业分工的必要性：根据Op
LCHub低代码社区·2023-08-14 04:30

8.1.tensorRT高级(3)封装系列-模型编译过程封装，简化模型编译代码

目录前言1.模型编译过程封装2.问答环节总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-08-13 23:43

7.3.tensorRT高级(2)-future、promise、condition_variable

目录前言1.生产者消费者模式2.问答环节总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-08-13 23:13

7.4.tensorRT高级(2)-使用RAII接口模式对代码进行有效封装

目录前言1.RAII接口模式2.问答环节总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-08-13 23:13

7.5.tensorRT高级(2)-RAII接口模式下的生产者消费者多batch实现

目录前言1.RAII接口模式封装生产者消费者2.问答环节总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-08-13 23:41

TensorRT的环境搭建及使用

本文主要简要介绍TensorRT的环境搭建及如何使用。环境安装我这里使用的是TensorRT-5.1.5.0版本，其他版本可能会有一些出入。
SHY_VWind·2023-08-13 19:43

Datawhale-AI夏令营:脑PET图像分析和疾病预测挑战赛baseline解读

接着，打印出CUDA版本和是否可用GPU，并将模型部署到GPU上（如果可用）。接下来是数据预处理的部分。通过glob.glob函数获取训练和测试图像的路径，并对其进行随机化。
一起努力啊～·2023-08-13 05:40

2023华为产品测评官－开发者之声 + 华为云ModelArts试用体验心得

ModelArts试用体验心得文章目录2023华为产品测评官－开发者之声+华为云ModelArts试用体验心得一、活动介绍二、华为云ModelArts简介三、AIGallery简介步骤1：订阅模型步骤2：使用订阅模型部署在线服务步骤
caoxiaoye·2023-08-13 02:55

tensorRT_Pro 项目实践

参考：https://github.com/shouxieai/tensorRT_Pro/blob/main/tutorial/README.zh-cn.md前提：https://www.cnblogs.com
理心炼丹·2023-08-12 18:42

Tensorrt导出engine文件加密（Windows&C++版）

扯皮的话：为了优化模型的inference，TensorRT会根据网络的定义执行优化包括特定平台的优化并生成inferenceengine。
@会飞的毛毛虫·2023-08-12 15:46

ubuntu20.04 安装 cuda11.8 + cuDNN v8.9.0 (July 11th, 2023), for CUDA 11.x + TensorRT-8.6.1

根据文档：https://docs.nvidia.com/deeplearning/tensorrt/archives/tensorrt-861/install-guide/index.htmlTensorRT8.6.1
理心炼丹·2023-08-12 08:16

利用RepVGG训练一个cifar-10数据

推理步骤：4.2权重转换的步骤5.导出onnx5.1模型转换前的onnx5.2权重转换后的onnx对比6.转换前后的推理时间对比7.repvgg量化(posttrainingquantization)8tensorrt
是大糊涂不聪明·2023-08-12 08:58

大模型的数据隐私问题有解了，浙江大学提出联邦大语言模型

作者|小戏、Python理想化的Learning的理论方法作用于现实世界总会面临着诸多挑战，从模型部署到模型压缩，从数据的可获取性到数据的隐私问题。
夕小瑶·2023-08-11 19:48

tensorflow-gpu cuda cudNN tensorRT 安装

tensorflow-gpucudacudNNtensorRT安装tensorflow-gpu版本对应关系tensorflow-gpu版本对应关系https://tensorflow.google.cn
码狂☆·2023-08-11 17:47

pytorch经onnx转tensorrt初体验(下)

在上一篇中学习了pytorch模型如何转为onnx模型，TensorRT推理的一般过程，以及python接口下onnx采用TensorRT推理的示例。
熙熙江湖·2023-08-11 16:37

TensorRT的安装：一步一步教会你如何安装TensorRT

TensorRT的安装：一步一步教会你如何安装TensorRTTensorRT的安装：一步一步教会你如何安装TensorRT题外话：CUDA和CUDNN的安装：一：安装显卡驱动二：安装CUDA三：安装CUDNN
prince_zxill·2023-08-11 09:52

【TensorRT】TensorRT 部署Yolov5模型（C++）

TensorRT部署Yolov5模型C++源码地址：1.TensorRT部署模型基本步骤1.1onnx模型转engine1.2读取本地模型1.3创建推理引擎1.4创建推理上下文1.5创建GPU显存缓冲区
椒颜皮皮虾྅·2023-08-10 23:26

TRT4-trt-integrate - 4 TRT的封装

前言：对tensorRT的封装，更像是对推理引擎的封装封装的意义在于对技术的标准化、工具化，能够是的使用时更加便利，效率更高，定制更多的默认行为封装推理引擎的思想，还可以应用到更多其他地方。
库达ZT·2023-08-10 14:24

ChatGLM2-6B 本地部署

THUDM/chatglm2-6batmain(huggingface.co)2.安装环境和运行库和ChatGLM-6B一样,只是多了几个库,参考下面部署方法ChatGLM-6B类似ChatGPT功能型对话大模型部署实践
绀目澄清·2023-08-10 03:40

模型部署

方式image.png服务器部署image.png客户端部署image.png模型在model_freeze中image.png压缩model_freeze中的模型image.png下载训练好的模型image.png部署目录image.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.pngimage.p
不学无数YD·2023-08-10 02:47

基于Flask的模型部署

基于Flask的模型部署一、背景Flask：一个使用Python编写的轻量级Web应用程序框架；首先需要明确模型部署的两种方式：在线和离线；在线：就是将模型部署到类似于服务器上，调用需要通过网络传输数据
一个热爱学习的深度渣渣·2023-08-09 13:23

【目标检测】YOLOV8实战入门（六）模型导出

此模式在将模型部署到生产环境时很有用。
卖报的大地主·2023-08-09 10:18

NLP（六十四）使用FastChat计算LLaMA-2模型的token长度

LLaMA-2模型部署  在文章NLP（五十九）使用FastChat部署百川大模型中，笔者介绍了FastChat框架，以及如何使用FastChat来部署百川模型。  
山阴少年·2023-08-09 10:37

Yolov5缺陷检测/目标检测 Jetson nx部署Triton server

使用AI目标检测进行缺陷检测时，部署到Jetson上即小巧算力还高，将训练好的模型转为tensorRT再部署到Jetson上供http或GRPC调用。
Zachary Zheng·2023-08-09 07:37

目标检测与跟踪 （3）- TensorRT&YOLO V8性能优化与部署测试

YOLOV8_TechblogofHaoWANG的博客-CSDN博客目标检测与跟踪（2）-YOLOV8配置与测试_TechblogofHaoWANG的博客-CSDN博客目录系列文章目录前言YOLOv8TensorRT
Techblog of HaoWANG·2023-08-08 16:32

YOLOv5：TensorRT加速YOLOv5模型推理

YOLOv5：TensorRT加速YOLOv5模型推理前言前提条件相关介绍TensorRT加速YOLOv5模型推理YOLOv5项目官方源地址将训练好的YOLOv5模型权重转换成TensorRT引擎YOLOv5best.pt
FriendshipT·2023-08-08 08:54

ubuntu cuda cudnn tensorRT的卸载和安装

1.安装显卡驱动显卡安装教程查看N卡驱动支持的最高cuda版本:nvidia-smi2.卸载sudoapt-get--purgeremove"*cublas*""*cufft*""*curand*"\"*cusolver*""*cusparse*""*npp*""*nvjpeg*""cuda*""nsight*"3.安装cuda版本地址：cuda设置环境变量：exportLD_LIBRARY_PA
lzfshub·2023-08-06 19:12

6.6.tensorRT高级(1)-mmdetection框架下yolox模型导出并推理

目录前言1.yolox导出2.yolox推理3.补充知识3.1知识点3.2mmdetection总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了
爱听歌的周童鞋·2023-08-06 17:19

6.7.tensorRT高级(1)-使用onnxruntime进行onnx模型推理过程

目录前言1.python-ort2.C++-ort总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-08-06 17:49

7.1.tensorRT高级(2)-使用openvino进行onnx的模型推理过程

目录前言1.openvino2.补充知识总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-08-06 17:49

6.4.tensorRT高级(1)-UNet分割模型导出、编译到推理（无封装）

目录前言1.Unet导出2.Unet推理总结前言杜老师推出的tensorRT从零起步高性能部署课程，之前有看过一遍，但是没有做笔记，很多东西也忘了。这次重新撸一遍，顺便记记笔记。
爱听歌的周童鞋·2023-08-06 17:48

基于Jetson NX的模型部署

系统安装系统安装过程分为3步：下载必要的软件及镜像JetsonNanoDeveloperKitSD卡映像https://developer.nvidia.com/jetson-nano-sd-card-imageWindows版SD存储卡格式化程序https://www.sdcard.org/downloads/formatter_4/eula_windows/镜像烧录工具balenaEtcher
鳄鱼儿·2023-08-06 16:38

【mmdeploy】mmseg转ONNX/TensorRT

1.关于mmdeployMMDeploy是OpenMMLab模型部署工具箱，为各算法库提供统一的部署体验。基于MMDeploy，开发者可以轻松从训练repo生成指定硬件所需SDK，省去大量适配时间。
暧昧的呆呆猫·2023-08-04 18:59

jetson orin nx 模组刷机及环境配置（一）

想重新安装系统1.2不想重新安装系统或安装好后二次刷机2.检查环境前言刚接到板子时板子上已经装好了jetson-linux系统，但是由于第一次接触，不知道要用sdkmanager刷机，就直接手动装cuda和tensorrt
Facias·2023-08-04 17:12

jetson orin nx模组刷机及环境配置（二）

jetsonorinnx安装pytorch、opencv前言1.pytorch2.torchvision3.tensorrt4.opencvwithcuda前言前篇文章把系统和一些环境配好了，接下来可以根据自己的需求配置一些其他的包
Facias·2023-08-04 17:12

rv1109/1126 rknn 模型部署过程

rv1109/1126是瑞芯微出的嵌入式AI芯片，带有npu,可以用于嵌入式人工智能应用。算法工程师训练出的算法要部署到芯片上，需要经过模型转换和量化，下面记录一下整个过程。量化环境模型量化需要安装rk的工具包：rockchip-linux/rknn-toolkit(github.com)版本要根据开发板的固件支持程度来，如果二者不匹配，可能转出来的模型无法运行或者结果不对。模型量化rknn支持c
CodingInCV·2023-08-04 13:53

Jetson nano上使用trt部署自己训练的YOLOv5模型（亲测可用！！）

yolov5的github链接:GitHub-ultralytics/yolov5:YOLOv5inPyTorch>ONNX>CoreML>TFLiteTensorRT下载链接:tensorrtx/yolov5atmaster
计算之声·2023-08-04 13:46

【PaddleOCR-deploy】在Jeston NX上部署运行PaddleOCR教程（安装whl包方法）

文章目录基本概念介绍1.确定盒子环境python+CUDA+cuDNN+TensorRT版本1.1我还没有安装环境：一步到位整体安装1.2我已经安装了环境：查询盒子环境版本1.3默认python版本设置
z5z5z5z56·2023-08-04 08:52

AI深度学习部署全记录

TensortRT->落地2.Torch.Model->Pt->ONNX->ONNXRunTime->落地3.Torch.Model->Pt->Libtorch->落地4.Torch.Model->PNNX->TensorRT
视觉菜鸟Leonardo·2023-08-03 12:47

TensorRT学习笔记--基于YoloV8检测图片和视频

1--完整项目完整项目地址：https://github.com/liujf69/TensorRT-Demogitclonehttps://github.com/liujf69/TensorRT-Demo.gitcdTRT_YoloV82
布吉岛呀~·2023-08-03 10:27

【NLP PyTorch】字符级RNN循环网络模型姓氏对应国家分类（项目详解）

字符级RNN模型姓氏对应国家分类1序言1数据来源与加载1.1数据来源1.2数据加载2数据预处理2.1单个字符数据处理标准2.2单词的张量构造3模型创建4模型训练5模型检验6模型预测7模型部署1序言本文的任务主要来源于
lys_828·2023-08-02 05:11

动手实现Linux远程控制

小糖豆在工作中有时需要将深度学习算法和模型部署到JetsonTX2嵌入式开发板。
89d6d5102c8a·2023-08-01 19:25
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他