模型部署（tensorRT)

StableDiffusion Automatic1111正式支持Tensorrt

今天在AI绘画的开源平台Automatic1111上发布了Tensorrt项目，项目地址是https://github.com/AUTOMATIC1111/stable-diffusion-webui-tensorrt
germandai·2024-03-08 10:33

PyTorch训练，TensorRT部署的简要步骤（采用ONNX中转的方式）

1.简述使用PyTorch执行训练，使用TensorRT进行部署有很多种方法，比较常用的是基于INetworkDefinition进行每一层的自定义，这样一来，会反向促使研究者能够对真个网络的细节有更深的理解
赛先生.AI·2024-03-08 07:30

ChatGPT引领的AI面试攻略系列：cuda和tensorRT

系列文章目录cuda和tensorRT（本文）AI全栈工程师文章目录系列文章目录一、前言二、面试题1.CUDA编程基础2.CUDA编程进阶3.性能优化4.TensorRT基础5.TensorRT进阶6.
梦想的理由·2024-03-05 12:04

使用TensorRT在PyTorch项目中加速深度学习推理

在PyTorch项目中使用TensorRT进行深度学习推理通常涉及以下步骤：模型训练：首先，在PyTorch中训练你的深度学习模型。
从零开始学习人工智能·2024-03-02 05:48

[C++]使用C++部署yolov9的tensorrt模型进行目标检测

部署YOLOv9的TensorRT模型进行目标检测是一个涉及多个步骤的过程，主要包括准备环境、模型转换、编写代码和模型推理。首先，确保你的开发环境已安装了NVIDIA的TensorRT。
FL1623863129·2024-02-26 22:35

大模型量化技术原理-LLM.int8()、GPTQ

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。
吃果冻不吐果冻皮·2024-02-20 21:39

我把ChatGPT部署到我的手机上

正常的大模型部署都是在服务器上的但是最近我看到一个手机上可以运行的大模型分享给大家MiniCPMMiniCPM是基于MLC-LLM开发，将MiniCPM和MiniCPM-V在Android手机端上运行。
·2024-02-20 17:55

[技术杂谈]Chat With RTX 介绍

据了解，这是一款适用于Windows平台的聊天机器人，由TensorRT-LLM提供支持，完全在本地运行。
FL1623863129·2024-02-20 13:46

WhisperFusion：具有超低延迟无缝对话功能的AI系统

LLM和Whisper都经过优化，可作为TensorRT引擎高效运行，从而最大限度地提高性能和实时处理能力。WhiperSpeech是通过torch.compile进行优化的。
语音之家·2024-02-20 11:39

心法利器[107] onnx和tensorRT的bert加速方案记录

心法利器本栏目主要和大家一起讨论近期自己学习的心得和体会，与大家一起成长。具体介绍：仓颉专项：飞机大炮我都会，利器心法我还有。2023年新一版的文章合集已经发布，获取方式看这里：又添十万字-CS的陋室2023年文章合集来袭，更有历史文章合集，欢迎下载。往期回顾心法利器[102]|大模型落地应用架构的一种模式心法利器[103]|大模型badcase修复方案思考心法利器[104]|基础RAG-向量检索
机智的叉烧·2024-02-19 12:49

81TensorFlow 2 模型部署方法实践--TensorFlow Serving 部署模型

TensorFlowServing部署模型TensorFlowServing是一个针对机器学习模型的灵活、高性能的服务系统，专为生产环境而设计。本节实验将使用TensorFlowServing部署MobileNetV2模型，并通过两种方法访问TensorFlowServing服务进行图像识别。TensorFlowServing安装在这里我们通过Docker来安装TensorFlowServing，
Jachin111·2024-02-14 13:25

深度学习笔记：推理服务

推理服务是把训练好的模型部署到线上，进行实时预测的过程。如阿里的RTP系统顾名思义，实时预测是相对于非实时预测(离线预测)而言，非实时预测是将训练好
TaoTao Li·2024-02-14 03:58

如何实现远程云服务器模型部署在本地使用

远程云服务器模型部署在本地使用1.问题说明：在使用pycharm的ssh连接到远程云服务器时，模型已经加载成功并且出现了如下标识：但是我们打开本地的7080端口，发现是拒绝访问。这是什么情况？
时光诺言·2024-02-14 01:53

LMDeploy 大模型量化部署实践

在浦语的MDeploy大模型量化部署实践课程中，可能需要完成的任务包括：大模型部署背景2、LMDeploy简介环境配置：这个部分你需要安装并设置相关的开发工具和库。
查里王·2024-02-12 23:57

AI工程化工具设计

需要有一个方便的改名字的工具，将下载的图片，一键式改名；3，需要有一个方便的，自动化的标注工具，提高标注效率4，需要有一个方便的，图形化的训练和测试工具，自动训练，并给出训练结果报告5，需要有一个方便的部署工具，方便把模型部署到
LabVIEW_Python·2024-02-12 21:44

jetson orin nano 使用yolov8导出engine

1.导出onnx经过前面训练，得到了best.pt模型，现在想要使用tensorrt进行推理，需要先导出为onnx格式，再转化为engine格式。
coder攻城狮·2024-02-12 02:36

TensorRT下载安装

TensorRT下载安装一下载地址https://developer.nvidia.com/nvidia-tensorrt-8x-download版本8.2.3GA(成熟稳定版)和8.4.0EA（新功能测试版
Jumy_S·2024-02-11 20:29

开发者都能玩转的大模型训练

而且基于亚马逊云科技的云服务器优势，可以直接将模型部署到线上托管环境上，非常方便，且无技术“隔阂”，无缝操作。据我
·2024-02-11 17:57

hummingbird，一个便于将模型部署到边缘设备的Python库！

前言随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
漫走云雾·2024-02-11 05:31

hummingbird，一个非常好用的 Python 库！

随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
近咫／＼ぃ天涯·2024-02-10 12:54

论文撰写八大技巧与八大心得，一文读懂

各位大佬、敬请查阅声明:作为全网AI领域干货最多的博主之一，❤️不负光阴不负卿❤️日常搬砖帮老板审了不少Paper，总结一些心得分享给各位正在路上的科研小伙伴计算机视觉、超分重建、图像修复、目标检测、模型部署都在学习墨理学
墨理学AI·2024-02-10 12:34

安装使用MMDeploy（Python版）

Python版）一安装MMDeploypythonmmdeploy-main/tools/deploy.pymmdeploy-main/configs/mmdet/detection/detection_tensorrt_dynamic
*Major*·2024-02-09 15:01

使用阿里云通义千问14B（Qianwen-14B）模型自建问答系统

使用阿里云通义千问14B（Qianwen-14B）模型自建问答系统时，调度服务器资源的详情将取决于以下关键因素：模型部署：GPU资源：由于Qianwen-14B是一个大规模语言模型，推理时需要高性能的GPU
wangqiaowq·2024-02-09 12:20

Stable Diffusion教程——使用TensorRT GPU加速提升Stable Diffusion出图速度

概述Diffusion模型在生成图像时最大的瓶颈是速度过慢的问题。为了解决这个问题，StableDiffusion采用了多种方式来加速图像生成，使得实时图像生成成为可能。最核心的加速是StableDiffusion使用了编码器将图像从原始的3512512大小转换为更小的46464大小，从而极大地降低了计算量。它还利用了潜在表示空间（latentspace）上的Diffusion过程，进一步降低了计
知来者逆·2024-02-09 08:43

yolov5 torch转tensorrt详解【推荐】

里面找到defexport_engine(model,im,file,half,dynamic,simplify,workspace=4,verbose=False,prefix=colorstr('TensorRT
Teng-Sun·2024-02-09 07:36

hummingbird，一个非常好用的 Python 库！

前言随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
漫走云雾·2024-02-08 12:42

读懂 FastChat 大模型部署源码所需的异步编程基础

原文：读懂FastChat大模型部署源码所需的异步编程基础-知乎目录0.前言1.同步与异步的区别2.协程3.事件循环4.await5.组合协程6.使用Semaphore限制并发数7.运行阻塞任务8.异步迭代器
javastart·2024-02-08 09:08

mmdetection模型转onnx和tensorrt实战

一,说明1.本次实战使用的是mmdetection算法框架中的Cascase-Rcnn训练的模型；2.模型转换时,运行环境中各种工具的版本要保持一致；3.TensorRT我一直装不上,我用的是镜像环境.
dream_home8407·2024-02-07 19:45

Jetson AGX Orin安装Anaconda，Cuda，Cudnn，pytorch，Tensorrt，ROS

Anaconda：https://repo.anaconda.com/archive/Cuda：https://forums.developer.nvidia.com/t/pytorch-for-jetson/720481：安装Anaconda3下载：Anaconda3-2021.11-Linux-aarch64.shchmod+xAnaconda3-2021.11-Linux-aarch64.s
枭玉龙·2024-02-07 12:38

Jetson Xavier NX CUDA、cuDNN、TensorRT与Pytorch环境配置

331阅读3,854torch与vision源码安装包下载链接：https://pan.baidu.com/s/1mrIgGoMo0bq6otGhlh-E3A提取码：6sb31.Cuda、CuDNN和TensorRT
想努力的人·2024-02-07 08:07

orin nx 安装paddlespeech记录

nx配置：模块版本说明CPU8核内存16GCuda版本11.4Opencv版本4.5.4Tensorrt版本5.1Cudnn版本8.6.0.166Deepstream版本6.2Python版本3.8算力
想努力的人·2024-02-07 08:35

llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)

先说结论全精度llama27B最低显存要求：28GB全精度llama213B最低显存要求：52GB全精度llama270B最低显存要求：280GB16精度llama27B预测最低显存要求：14GB16精度llama213B预测最低显存要求：26GB16精度llama270B预测最低显存要求：140GB8精度llama27B预测最低显存要求：7GB8精度llama213B预测最低显存要求：13GB8
海皇海皇吹·2024-02-05 20:50

从零开始 TensorRT（3）Python 篇：解析 ONNX、PyTorch TensorRT 接口

前言学习资料：TensorRT源码示例官方文档：WorkingWithTensorRTUsingThePythonAPI官方文档：TensorRTPython官方文档：CUDAPythonB站视频教程视频配套代码
秋山丶雪绪·2024-02-05 14:58

从零开始 TensorRT（2）Python 篇：原生 API 构建网络

前言学习资料：TensorRT源码示例官方文档：WorkingWithTensorRTUsingThePythonAPI官方文档：TensorRTPythonAPI官方文档：CUDAPythonB站视频
秋山丶雪绪·2024-02-05 14:28

从零开始 TensorRT（4）命令行工具篇：trtexec 基本功能

前言学习资料：TensorRT源码示例B站视频：TensorRT教程|基于8.6.1版本视频配套代码cookbook参考源码：cookbook→07-Tool→trtexec官方文档：trtexec在TensorRT
秋山丶雪绪·2024-02-05 14:27

CUDA/TensorRT部署知识点

CUDA相关：1、CUDA核函数嵌套核函数的用法多吗？答：这种用法非常少，主要是因为启动一个kernel本身就有一定延迟，会造成执行的不连续性。2、如下代码里的grid/block对应硬件上的SM的关系是什么？答：首先需要理解grid/block是软件层的概念，而SM是硬件层的概念。所以我们在GPU中是找不到grid/block的，所以只能抽象去理解这个关系。一般来讲一个kernel对应一个gri
qq_41920323·2024-02-05 01:57

周同学文章汇总

目录前言1.C++2.Linux3.环境配置4.AlgoC++5.Makefile6.模型部署7.tensorRT从零起步高性能部署8.保姆级从零手写自动驾驶CV9.剪枝与重参10.量化11.国内首个BVE
爱听歌的周童鞋·2024-02-04 19:23

八. 实战：CUDA-BEVFusion部署分析-学习spconv的优化方案(Implicit GEMM conv)

ExplicitGEMMConv3.ImplicitGEMMConv4.ImplicitGEMMConv优化5.spconv和ImplicitGEMMConv总结下载链接参考前言自动驾驶之心推出的《CUDA与TensorRT
爱听歌的周童鞋·2024-02-04 19:51

工程经验分享 Incremental FastPitch

1.基于FastPitch+Hifi-GAN的StreamingTTS效果优化NVIDIA在TTS领域也做了一些供大家参考的工作，例如提供了高效的流式TTS部署方案，利用TensorRT加速模型推理速度
语音之家·2024-02-04 05:46

tensorRt加速tensorflow模型推理（inception V3为例）

摘要在一个人工智能大爆发的时代，一个企业不来点人工智能都不好意思说自己是科技企业。随着各公司在各自领域数据量的积累，以及深度学习的强拟合特点，各个公司都会训练出属于自己的模型，那么问题就来了，你有模型，我也有模型，那还比什么？对，就是速度，谁的速度快，谁就厉害。引言tensorflow作为谷歌开源的深度学习神器，被学界以及业界广泛的推广，本文就不做过多的介绍，如有需要可以参考如下链接link1li
鱼香土豆丝·2024-02-03 18:56

Python机器学习模型库之hummingbird使用详解

概要随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。
Rocky006·2024-02-03 13:15

pytorch gpu推理、onnxruntime gpu推理、tensorrt gpu推理比较，及安装教程，有详细代码解释

需要下载的测试用的文件测试图片：https://upload.wikimedia.org/wikipedia/commons/2/26/YellowLabradorLooking_new.jpg-Odog.jpg类别文件：https://raw.githubusercontent.com/Lasagne/Recipes/master/examples/resnet50/imagenet_class
idealmu·2024-02-03 13:16

(新手亲测有效)bug解决：在用显存24G的3090采用LoRA微调ChatGLM-6B（FP16）时报错torch.OutOfMemoryError:CUDA out of Memory.

理论上，ChatGLM-6B（FP16）模型部署运行时需要大约13G的显存空间即可。
韬小志·2024-02-02 20:34

深度学习模型试跑(十七):Depth-Anything

和别人一起合作写的tensorrt版本，已发布在github上，欢迎点⭐https://github.com/spacewalk01/depth-anything-tensorrt根据项目的星标⭐数量，
(～o▔▽▔)～o o～(▔▽▔o～)·2024-02-02 15:54

YOLOv8-Segment C++

YOLOv8-SegmentC++https://github.com/triple-Mu/YOLOv8-TensorRT这张图像是运行yolov8-seg程序得到的结果图，首先是检测到了person、
笨小古·2024-02-02 05:32

colab中搭建tf-trt环境——解决TensorRT版本匹配问题

colab中搭建tf-trt环境——解决TensorRT版本匹配问题可行的环境版本匹配：Ubuntu18.04cuda11.1cudnn8python3.7tensorflow-gpu2.7.0TensorRT7.2.2pycuda2021.1
小稻壳·2024-02-02 04:26

【深度学习】SDXL TensorRT Dockerfile Docker容器

文章目录过程SDXLTensorRT构建SDXLTensorRTLCM调度器过程dockerpushkevinchina/deeplearning:cuda12.1torch2.1.1FROMnvidia
XD742971636·2024-02-01 19:49

《YOLOv8-Pose关键点检测》专栏介绍 & CSDN独家改进创新实战 & 专栏目录

pose的yolo数据集；模型性能提升、pose模式部署能力；应用范围：工业工件定位、人脸、摔倒检测等支持各个关键点检测；指导手册目录1.手把手入门教程1.1训练准备篇，数据集制作1.1案列实战1.1模型部署
AI小怪兽·2024-02-01 15:38

英特尔正式发布OpenVINO™ 2023.3版本

OpenVINO™是英特尔针对自家硬件平台开发的一套深度学习工具库，包含推断库，模型优化等等一系列与深度学习模型部署相关的功能。
hyang1974·2024-02-01 04:19

在Jetson Xavier NX上制作YOLov5.5.0的镜像

在JetsonXavierNX上制作YOLov5.5.0的镜像1、环境介绍（使用jtop进行查看）CUDA:10.2.300cuDNN:8.2.1.32TensorRT:8.0.1.32Opencv:4.1.1
宁德杰出青年代表·2024-01-30 20:53
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他