模型部署（tensorRT) 第2页

使用阿里云通义千问14B（Qianwen-14B）模型自建问答系统

使用阿里云通义千问14B（Qianwen-14B）模型自建问答系统时，调度服务器资源的详情将取决于以下关键因素：模型部署：GPU资源：由于Qianwen-14B是一个大规模语言模型，推理时需要高性能的GPU

wangqiaowq·2024-02-09 12:20

Stable Diffusion教程——使用TensorRT GPU加速提升Stable Diffusion出图速度

概述Diffusion模型在生成图像时最大的瓶颈是速度过慢的问题。为了解决这个问题，StableDiffusion采用了多种方式来加速图像生成，使得实时图像生成成为可能。最核心的加速是StableDiffusion使用了编码器将图像从原始的3512512大小转换为更小的46464大小，从而极大地降低了计算量。它还利用了潜在表示空间（latentspace）上的Diffusion过程，进一步降低了计

知来者逆·2024-02-09 08:43

yolov5 torch转tensorrt详解【推荐】

里面找到defexport_engine(model,im,file,half,dynamic,simplify,workspace=4,verbose=False,prefix=colorstr('TensorRT

Teng-Sun·2024-02-09 07:36

hummingbird，一个非常好用的 Python 库！

前言随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。

漫走云雾·2024-02-08 12:42

读懂 FastChat 大模型部署源码所需的异步编程基础

原文：读懂FastChat大模型部署源码所需的异步编程基础-知乎目录0.前言1.同步与异步的区别2.协程3.事件循环4.await5.组合协程6.使用Semaphore限制并发数7.运行阻塞任务8.异步迭代器

javastart·2024-02-08 09:08

mmdetection模型转onnx和tensorrt实战

一,说明1.本次实战使用的是mmdetection算法框架中的Cascase-Rcnn训练的模型；2.模型转换时,运行环境中各种工具的版本要保持一致；3.TensorRT我一直装不上,我用的是镜像环境.

dream_home8407·2024-02-07 19:45

Jetson AGX Orin安装Anaconda，Cuda，Cudnn，pytorch，Tensorrt，ROS

Anaconda：https://repo.anaconda.com/archive/Cuda：https://forums.developer.nvidia.com/t/pytorch-for-jetson/720481：安装Anaconda3下载：Anaconda3-2021.11-Linux-aarch64.shchmod+xAnaconda3-2021.11-Linux-aarch64.s

枭玉龙·2024-02-07 12:38

Jetson Xavier NX CUDA、cuDNN、TensorRT与Pytorch环境配置

331阅读3,854torch与vision源码安装包下载链接：https://pan.baidu.com/s/1mrIgGoMo0bq6otGhlh-E3A提取码：6sb31.Cuda、CuDNN和TensorRT

想努力的人·2024-02-07 08:07

orin nx 安装paddlespeech记录

nx配置：模块版本说明CPU8核内存16GCuda版本11.4Opencv版本4.5.4Tensorrt版本5.1Cudnn版本8.6.0.166Deepstream版本6.2Python版本3.8算力

想努力的人·2024-02-07 08:35

llama2模型部署方案的简单调研-GPU显存占用(2023年7月25日版)

先说结论全精度llama27B最低显存要求：28GB全精度llama213B最低显存要求：52GB全精度llama270B最低显存要求：280GB16精度llama27B预测最低显存要求：14GB16精度llama213B预测最低显存要求：26GB16精度llama270B预测最低显存要求：140GB8精度llama27B预测最低显存要求：7GB8精度llama213B预测最低显存要求：13GB8

海皇海皇吹·2024-02-05 20:50

从零开始 TensorRT（3）Python 篇：解析 ONNX、PyTorch TensorRT 接口

前言学习资料：TensorRT源码示例官方文档：WorkingWithTensorRTUsingThePythonAPI官方文档：TensorRTPython官方文档：CUDAPythonB站视频教程视频配套代码

秋山丶雪绪·2024-02-05 14:58

从零开始 TensorRT（2）Python 篇：原生 API 构建网络

前言学习资料：TensorRT源码示例官方文档：WorkingWithTensorRTUsingThePythonAPI官方文档：TensorRTPythonAPI官方文档：CUDAPythonB站视频

秋山丶雪绪·2024-02-05 14:28

从零开始 TensorRT（4）命令行工具篇：trtexec 基本功能

前言学习资料：TensorRT源码示例B站视频：TensorRT教程|基于8.6.1版本视频配套代码cookbook参考源码：cookbook→07-Tool→trtexec官方文档：trtexec在TensorRT

秋山丶雪绪·2024-02-05 14:27

CUDA/TensorRT部署知识点

qq_41920323·2024-02-05 01:57

周同学文章汇总

目录前言1.C++2.Linux3.环境配置4.AlgoC++5.Makefile6.模型部署7.tensorRT从零起步高性能部署8.保姆级从零手写自动驾驶CV9.剪枝与重参10.量化11.国内首个BVE

爱听歌的周童鞋·2024-02-04 19:23

八. 实战：CUDA-BEVFusion部署分析-学习spconv的优化方案(Implicit GEMM conv)

ExplicitGEMMConv3.ImplicitGEMMConv4.ImplicitGEMMConv优化5.spconv和ImplicitGEMMConv总结下载链接参考前言自动驾驶之心推出的《CUDA与TensorRT

爱听歌的周童鞋·2024-02-04 19:51

工程经验分享 Incremental FastPitch

1.基于FastPitch+Hifi-GAN的StreamingTTS效果优化NVIDIA在TTS领域也做了一些供大家参考的工作，例如提供了高效的流式TTS部署方案，利用TensorRT加速模型推理速度

语音之家·2024-02-04 05:46

tensorRt加速tensorflow模型推理（inception V3为例）

摘要在一个人工智能大爆发的时代，一个企业不来点人工智能都不好意思说自己是科技企业。随着各公司在各自领域数据量的积累，以及深度学习的强拟合特点，各个公司都会训练出属于自己的模型，那么问题就来了，你有模型，我也有模型，那还比什么？对，就是速度，谁的速度快，谁就厉害。引言tensorflow作为谷歌开源的深度学习神器，被学界以及业界广泛的推广，本文就不做过多的介绍，如有需要可以参考如下链接link1li

鱼香土豆丝·2024-02-03 18:56

Python机器学习模型库之hummingbird使用详解

概要随着人工智能和机器学习的快速发展，将训练好的模型部署到生产环境中成为了一个重要的任务。而边缘计算设备，如智能手机、嵌入式系统和物联网设备，也需要能够运行机器学习模型以进行实时推理。

Rocky006·2024-02-03 13:15

pytorch gpu推理、onnxruntime gpu推理、tensorrt gpu推理比较，及安装教程，有详细代码解释

需要下载的测试用的文件测试图片：https://upload.wikimedia.org/wikipedia/commons/2/26/YellowLabradorLooking_new.jpg-Odog.jpg类别文件：https://raw.githubusercontent.com/Lasagne/Recipes/master/examples/resnet50/imagenet_class

idealmu·2024-02-03 13:16

(新手亲测有效)bug解决：在用显存24G的3090采用LoRA微调ChatGLM-6B（FP16）时报错torch.OutOfMemoryError:CUDA out of Memory.

理论上，ChatGLM-6B（FP16）模型部署运行时需要大约13G的显存空间即可。

韬小志·2024-02-02 20:34

深度学习模型试跑(十七):Depth-Anything

和别人一起合作写的tensorrt版本，已发布在github上，欢迎点⭐https://github.com/spacewalk01/depth-anything-tensorrt根据项目的星标⭐数量，

(～o▔▽▔)～o o～(▔▽▔o～)·2024-02-02 15:54

YOLOv8-Segment C++

YOLOv8-SegmentC++https://github.com/triple-Mu/YOLOv8-TensorRT这张图像是运行yolov8-seg程序得到的结果图，首先是检测到了person、

笨小古·2024-02-02 05:32

colab中搭建tf-trt环境——解决TensorRT版本匹配问题

colab中搭建tf-trt环境——解决TensorRT版本匹配问题可行的环境版本匹配：Ubuntu18.04cuda11.1cudnn8python3.7tensorflow-gpu2.7.0TensorRT7.2.2pycuda2021.1

小稻壳·2024-02-02 04:26

【深度学习】SDXL TensorRT Dockerfile Docker容器

文章目录过程SDXLTensorRT构建SDXLTensorRTLCM调度器过程dockerpushkevinchina/deeplearning:cuda12.1torch2.1.1FROMnvidia

XD742971636·2024-02-01 19:49

《YOLOv8-Pose关键点检测》专栏介绍 & CSDN独家改进创新实战 & 专栏目录

pose的yolo数据集；模型性能提升、pose模式部署能力；应用范围：工业工件定位、人脸、摔倒检测等支持各个关键点检测；指导手册目录1.手把手入门教程1.1训练准备篇，数据集制作1.1案列实战1.1模型部署

AI小怪兽·2024-02-01 15:38

英特尔正式发布OpenVINO™ 2023.3版本

OpenVINO™是英特尔针对自家硬件平台开发的一套深度学习工具库，包含推断库，模型优化等等一系列与深度学习模型部署相关的功能。

hyang1974·2024-02-01 04:19

在Jetson Xavier NX上制作YOLov5.5.0的镜像

在JetsonXavierNX上制作YOLov5.5.0的镜像1、环境介绍（使用jtop进行查看）CUDA:10.2.300cuDNN:8.2.1.32TensorRT:8.0.1.32Opencv:4.1.1

宁德杰出青年代表·2024-01-30 20:53

YOLOv8实例分割实战：TensorRT加速部署

TensorRT是针对英伟达GPU的加速工具。本课程讲述如何使用TensorRT对YOLOv8实例分割进行加速和部署，实测推理速度提高3倍以上。

bai666ai·2024-01-30 17:31

WhisperBot：整合了Mistral大型语言模型的实时语音转文本系统

Mistral和Whisper都经过优化，可作为TensorRT引擎高效运行，从而最大限度地提高性能和实时处

语音之家·2024-01-30 10:14

yolov8数据标注、模型训练到模型部署全过程

文章目录一、数据标注（x-anylabeling）1.安装方式1.1直接通过Releases安装1.2clone源码后采用终端运行2.如何使用二、模型训练三、模型部署3.1onnx转engine3.2c

只搬烫手的砖·2024-01-30 09:09

python+keras搭建的模型部署至嵌入式端PSoc6

前面已经写了文章描述如何搭建简单的水果分类模型，本文将介绍如何将搭建的模型部署至嵌入式端，本文利用MLConfigurator提供的配置程序MLConfigurator来导入预先训练好的机器学习模型，而它的目前版本仅支持

deleteeee·2024-01-30 08:24

PyTorch2ONNX-分类模型：速度比较（固定维度、动态维度）、精度比较

图像分类模型部署:PyTorch->ONNX1.模型部署介绍1.1人工智能开发部署全流程step1数据数据采集定义类别标注数据集step2模型训练模型测试集评估调参优化可解释分析step3部署手机/平板服务器

Le0v1n·2024-01-30 07:08

实践torch.fx第一篇——基于Pytorch的模型优化量化神器

torch.fx今天聊一下比较重要的torch.fx，也趁着这次机会把之前的torch.fx笔记整理下，笔记大概拆成三份，分别对应三篇：什么是torch.fx基于torch.fx做量化基于torch.fx量化部署到TensorRT

OLDPAN·2024-01-29 00:21

对于jetson nano 的docker部署jetson-inference等模型

对于Nvidiajetsonnano来说是一款十分优秀的网络模型部署设备我对于nano来说也是学习了2个星期左右.这也是对我这一阶段做一个复习总结吧!

诶我就不告诉你·2024-01-27 00:55

TensorRT英伟达官方示例解析（二）

系列文章目录TensorRT英伟达官方示例解析（一）TensorRT英伟达官方示例解析（二）TensorRT英伟达官方示例解析（三）文章目录系列文章目录前言一、03-BuildEngineByTensorRTAPI1.1

小豆包的小朋友0217·2024-01-27 00:55

TensorRT英伟达官方示例解析（三）

系列文章目录TensorRT英伟达官方示例解析（一）TensorRT英伟达官方示例解析（二）TensorRT英伟达官方示例解析（三）文章目录系列文章目录前言一、04-BuildEngineByONNXParser

小豆包的小朋友0217·2024-01-27 00:55

TensorRT英伟达官方示例解析（一）

系列文章目录TensorRT英伟达官方示例解析（一）TensorRT英伟达官方示例解析（二）TensorRT英伟达官方示例解析（三）文章目录系列文章目录前言一、参考资料二、配置系统环境三、00-MNISTData

小豆包的小朋友0217·2024-01-27 00:25

开源模型部署及使用

开源模型部署及使用1.Langchain-Chatchat1.环境2.运行3.效果2.facefusion1.环境2.运行3.效果3.Aquila1.环境2.运行1.Langchain-ChatchatLangchain-Chatchat

我是小z呀·2024-01-26 17:40

大模型部署手记（22）Ubuntu+TensorRT-LLM+通义千问

阅读了https://zhuanlan.zhihu.com/p/662406460张小白不禁打开了这个链接：GitHub-Tlntin/Qwen-7B-Chat-TensorRT-LLM看了下环境：貌似不难满足

张小白TWO·2024-01-26 16:26

模型推理加速系列 | 08：TensorRT-LLM助力LLM高性能推理

引言日暮苍山远，天寒白屋贫。CreatedbyDALL·E3小伙伴们好，我是《小窗幽记机器学习》的小编：卖汤圆的小女孩，今天是冬至，祝福小伙伴们幸福安康吧。紧接前文：万字长文细说ChatGPT的前世今生Llama2实战(上篇):本地部署(附代码)Llama2实战(下篇)-中文语料微调(附代码)CodeLlama实战(上篇)-模型简介和评测CodeLlama实战(下篇)-本地部署、量化及GPT-4对

JasonLiu1919·2024-01-26 16:24

成功编译TensorRT-LLM

1.准备工作启动已下载的docker镜像，查看编译TRT-LLM的主要依赖项版本OS:Ubuntu22.04cuda：12.2cudnn:8.9.4tensorrt:9.1.0python:3.

有来有去9527·2024-01-26 16:53

使用NVIDIA TensorRT-LLM支持CodeFuse-CodeLlama-34B上的int4量化和推理优化实践

本文首发于NVIDIA一、概述CodeFuse（https://github.com/codefuse-ai）是由蚂蚁集团开发的代码语言大模型，旨在支持整个软件开发生命周期，涵盖设计、需求、编码、测试、部署、运维等关键阶段。为了在下游任务上获得更好的精度，CodeFuse提出了多任务微调框架（MFTCoder），能够解决数据不平衡和不同收敛速度的问题。通过对比多个预训练基座模型的精度表现，我们发现

CodeFuse·2024-01-26 16:23

TensorRT-9.0和TensorRT-LLM马上要发布了！

作者|Oldpan编辑|oldpan博客点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【模型部署】技术交流群本文只做学术分享，如有侵权，联系删文TensorRT

自动驾驶之心·2024-01-26 16:52

TensorRT-LLM在CodeFuse-CodeLlama-34B上的int4量化实践

01概述本文档是利用TensorRT-LLM(earlyaccess)对CodeFuse-CodeLlama-34B进行int4量化的实践（注：TensorRT-LLM(GA)已发布）。

CodeFuse·2024-01-26 16:52

TensorRT-LLM Docker镜像制作

依赖：TensorRT9.1.0.4docker版本23.08步骤：1.宿主机联网，启动容器，容器内也要联网启动镜像的方法：2023-10-2609:07:57dockerrun--gpusall-it

美洲大蠊很顽强·2024-01-26 16:22

TensorRT-LLM的AutoDL部署

安装cudawgethttps://developer.download.nvidia.com/compute/cuda/12.2.1/local_installers/cuda_12.2.1_535.86.10_linux.runchmod+xchmod+xcuda_12.2.1_535.86.10_linux.run./cuda_12.2.1_535.86.10_linux.run安装cudn

wwwsctvcom·2024-01-26 16:21

【TensorRT】关于8.6版本开始的硬件兼容性的一些试错

有关tensorRT8.6版本的硬件兼容性的笔记1、背景2、说明书解读3、api调用说明c++api说明1、背景在工业应用中，边缘端的部署通常需要发布到不同的硬件，在自己的电脑上生成的模型，往往会因为与其他设备的显卡型号不同架构不同的问题

澄鑫·2024-01-26 08:39

【模型部署】入门教程（六）：实现 PyTorch-ONNX 精度对齐工具

模型部署入门教程（六）：实现PyTorch-ONNX精度对齐工具-知乎(zhihu.com)目录设计思路代码实现Debug算子Debugger类生成调试节点提取调试模型运行调试模型输出调试信息使用方法总结系列传送门久等啦

卖报的大地主·2024-01-26 07:41

书生·浦语大模型--第五节课笔记&作业--LMDeploy 大模型量化部署实践

文章目录大模型部署背景LMDeploy简介动手实践创建环境服务部署在线转换离线转换TurboMind推理+API服务Gradio作为前端Demo演示TurboMind服务作为后端TurboMind推理作为后端作业大模型部署背景部署

李日音·2024-01-25 21:28

推荐频道

模型部署（tensorRT)