模型部署（tensorRT) 第12页

深度学习模型部署与优化：策略与实践；L40S与A100、H100的对比分析

★深度学习、机器学习、生成式AI、深度神经网络、抽象学习、Seq2Seq、VAE、GAN、GPT、BERT、预训练语言模型、Transformer、ChatGPT、GenAI、多模态大模型、视觉大模型、TensorFlow、PyTorch、Batchnorm、Scale、Crop算子、L40S、A100、H100、A800、H800随着生成式AI应用的迅猛发展，我们正处在前所未有的大爆发时代。在这

高性能服务器·2023-10-21 04:05

绝不能错过的24个Python库

文中提及了用于数据清理、数据操作、可视化、构建模型甚至模型部署(以及其他用途)的库。这是一个相当全面的列表，有助于你使用Python开

lddnzx·2023-10-21 01:17

英伟达Tensorrt开发·yolov8

官方预训练模型转换下载yolov8源码解压到本地，并配置基础运行环境。下载官方预训练模型yolov8n.ptyolov8s.ptyolov8m.pt…进入ultralytics-main目录下，新建文件夹weights，并将步骤2中下载的权重文件放进去。新建export.py文件#encoding:utf-8fromultralyticsimportYOLOimportonnximportargp

烂笔头·张·2023-10-21 01:14

RK3568笔记四：基于TensorFlow花卉图像分类部署

花卉图像分类任务，使用使用tf.keras.Sequential模型，简单构建模型，然后转换成RKNN模型部署到ATK-DLRK3568板子上。

殷忆枫·2023-10-21 01:39

通过 DLPack 构建跨框架深度学习编译器

BuildingaCross-FrameworkDeepLearningCompilerviaDLPack诸如Tensorflow、PyTorch和ApacheMxNet等深度学习框架为深度学习的快速原型设计和模型部署提供了强大的工具箱

图波列夫·2023-10-20 22:09

【Gradio-Windows-Linux】解决share=True无法创建共享链接，缺少frpc_windows_amd64_v0.2

前言随着机器学习技术的快速发展，将训练好的模型部署为实际应用变得愈发重要。Gradio作为一个强大的开源库，为我们提供了一个简单而高效的解决方案。

friklogff·2023-10-20 11:19

2023-10-8讯飞大模型部署2024秋招后端一面（附详解）

1mybatis的mapper是什么东西在MyBatis中，mapper是一个核心概念，它起到了桥梁的作用，连接Java对象和数据库之间的数据。具体来说，mapper可以分为以下两个部分：MapperXML文件：这是一个XML文件，其中定义了SQL语句和映射规则。每个SQL语句都有一个唯一的ID，这样Java代码可以引用它。在这个文件中，你可以定义CRUD操作（如,,,）。你还可以定义结果映射（如

xxx_520s·2023-10-19 10:09

Caffe版yolov3+tensorRT

一、caffe安装（基于ubuntu16.04,cuda9.0,cudnn7.0,opencv3.2）由于不同机器的环境和配置不同，安装caffe大体会有些差异。不过基本的流程是一致的。1.安装gpu显卡：百度自行解决。2.安装cuda：百度自行解决。3.配置cudnn：百度自行解决。4.安装OpenCV3.2源码。安装opencv源码是整个过程相对坑较多的地方。安装过程可以参考：OpenCV-3

未来真好·2023-10-18 20:46

TensorRT(9):查看tensorrt的版本号

TensorRT的官网更新相对比较频繁，每次当算法库以及TensorRT库更新后，都会面临实际使用的库和TensorRT库版本对应不上的问题，通过接口查看版本号，并通过代码做相应的参数检查，是一个重要的环节

hjxu2016·2023-10-18 06:27

模型量化笔记--KL散度量化

上面两种直接映射的方法比较粗暴，而TensorRT中的int8量化是基于KL散度来选取最佳的阈值T来映射到127中。超出阈值±∣T∣\pm|T|±∣T∣的数据会直接映射为阈值（类似于截断映射）。

晓晓纳兰容若·2023-10-17 22:42

OpenMMLab OpenMMLab mmdeploy v1.1.0模型部署（一）

一、MMDepoly整体框架模型部署是指把机器学习训练生成的算法模型，部署到各类云、边、端设备上去，并使之高效运行，从而将算法模型实际地应用到现实生活中的各类任务中去，从而实现AI+的智能化转型。

qq_41627642·2023-10-17 21:00

Triton部署mmdeploy导出的TensorRT模型失败篇

记录一下历程，最终没有部署成功，应该是Ubantu系统版本的问题。现在没有时间搞了，先记录一下，后续用到再填坑。Tritondemogitclone-br22.06https://github.com/triton-inference-server/server.gitcdserver/docs/examples./fetch_models.sh#构建并启动容器1的服务dockerrun--gpu

gy-7·2023-10-17 21:29

ubuntu下yolox tensorrt模型部署

TensorRT系列教程之Windows10下yolov8tensorrt模型加速部署TensorRT系列教程之Linux下yolov8tensorrt模型加速部署TensorRT系列教程之Linux下

燃烧的枫·2023-10-17 13:24

vs2019+openvino部署yolov5目标检测流程+bug解决

项目需要利用c++部署yolov5的.pt文件尝试intel厂商的openvino套件版本：vs2019openvino==2022.3（只用部署所以只下载runtime）opencv==4.5.5（模型部署的前处理和后处理

叫啥你能记住我·2023-10-17 12:27

基于openvino+yolov5的模型量化记录（PTQ模式）

此文档的目的是为了了解openvino如何降低模型部署的推理时间，同时尽可能保证精度。此文档一共提供了两种PTQ量化方式，下面分别介绍。

TimeRoser·2023-10-17 12:42

AI - Ubuntu 机器学习环境 (TensorFlow GPU, JupyterLab, VSCode)

tensorflow-gpu-on-ubuntu介绍所需软件安装前GCCNVIDIApackagerepositoriesNVIDIAmachinelearningNVIDIAGPUdriverCUDAToolKitandcuDNNTensorRTMiniconda

CatchZeng·2023-10-17 10:27

libtorch部署1：模型训练和转换

前面已经研究过tensorflow，onnx的模型部署方案，这篇就来记录一下pyTorch模型的C++部署方案。

代丹·2023-10-17 10:45

Jetson Nano TensorRT加速Yolov5

gitclone-bv7.0https://github.com/ultralytics/yolov5.gitgitclone-byolov5-v7.0https://github.com/wang-xinyu/tensorrtx.gitcdyolov5

权双·2023-10-17 02:14

Ubuntu20.04（arm架构）系统在vscode中配置cuda+c/c++编程环境

、环境介绍在linux系统中安装vscode后配置cuda+c/c++编程环境进行学习cuda编程，笔者使用的arm架构的jetsonagxorin开发套件，其中已经安装好的cuda11，cudnn,TensorRT

m0_61133217·2023-10-17 02:12

TensorRT cmake时出现Could NOT find TENSORRt library

blog.csdn.net/qq_36501182/article/details/79220009声明变量路径即可解决方法exportPATH="$PATH:/home/ubuntu/Download/TensorRT

fanzy1234·2023-10-16 21:36

主机回来以及，简单的环境配置(RTX3070+CUDA11.1+CUDNN+TensorRT)

紧接着前几天的事：特殊的日子，想起了当年的双(1080TI)显卡装机实录和炼丹炉买不起了:聊一聊这段日子的显卡行情之后，决定买一台整机玩玩。而现在，主机终于回！来！了！主机回来干什么，当然是——配置环境。老潘之前也有一些配置环境的文章，可以参考：ubuntu16.04下安装NVIDIA（cuda）-gtx965m相关步骤以及问题pytorch-0.2成功调用GPU：ubuntu16.04，Nvid

OLDPAN·2023-10-16 18:11

实操rk3588讯为开发板部署和运行yolov5模型

【RKNPU2项目实战1】：YOLOV5实时目标分类_哔哩哔哩_bilibili）完成了前11分钟的内容，分别是：在pc端用ubuntu虚拟机推理yolo模型；在pc端连板推理yolo模型；把yolo模型部署到板端推理

hzh442436179·2023-10-16 12:02

使用 TensorRT 对 YOLOv8 模型进行 int8 量化

文章目录前言1.量化后的效果2.代码3.软硬件环境4.int8量化的参考资料前言使用Python版的TensorRT，可以很方便地对YOLOv8模型进行int8量化。

杭州的平湖秋月·2023-10-16 03:25

通过onnxruntime进行模型部署过程中的问题

1.onnxruntime包从https://github.com/microsoft/onnxruntime/releases/下载解压到D:/code/package/onnruntime2opencv_c++下载https://github.com/opencv/opencv/releases/tag/4.8.13.测试opencv代码：总结：添加include目录，添加lib库目录，链接器

tao_sc·2023-10-16 01:41

mlc-llm 推理优化和大语言模型搭建解析

mlc-llm的模型部署流程可以查看官方文档：https://mlc.ai/mlc-llm/docs/，也可以参考我前段时间写的这篇MLC-LLM部署RWKVWorld系列模型实战（3B模型MacM2解码可达

just_sort·2023-10-16 00:59

【BML全功能AI开发平台初体验】两小时搞定图像分类全流程！

一、新建图像分类数据集二、开始标注第一步：添加标签第二步：点击批量标注第三步：开始批量标注三、新建一个项目四、导入数据集五、配置网络六、配置资源七、模型部署八、模型调用第一步：点击查看详情第二步：点击控制台

七年期限·2023-10-15 19:48

【BML全功能AI开发平台初体验】两小时搞定目标检测全流程！

一、准备开始二、创建并标注数据集三、新建一个项目四、导入数据集五、配置网络六、配置资源七、模型部署八、模型调用第一步：点击查看详情第二步：点击控制台，对接口进行赋权第三步：创建应用第四步：记录APIKey

七年期限·2023-10-15 19:17

【BML全功能AI开发平台】BML平台模型部署调用实战！

BML平台模型部署调用实战一、准备开始第一步：搭建PHP后台第二步：创建MYSQL第三步：开启公有云模型二、编写页面代码三、编写PHP调用代码四、查看效果第一步：点击上传图片第二步：开始预测第三步：查看预测结果四

七年期限·2023-10-15 19:17

【BML全功能AI开发平台初体验】没有服务器也可以实现公有云部署！

基于BML平台的公有云部署一、注意事项二、模型部署第一步：点击立即使用，进入BML总览界面。

七年期限·2023-10-15 19:47

cuda系列详细教程-花絮

2dblock索引二、kernel函数实例三、性能优化(内存)四、原子操作五、流stream六、cuda处理nms编码七、cuda处理yolo算法输出编码八、cuda处理yolo算法整个过程九、yolo的tensorrt

tangjunjun-owen·2023-10-15 14:00

pycharm远程连接服务器

在Python后端开发、AI模型部署时，我们需要在远程服务器上运行Python代码。然而在开发过程中，代码往往需要在主机上不断地编辑、调试，因此我们就会想要在IDE上将本项目代码远程连接到服务器。

一饭名厨姚鲲鲲·2023-10-15 05:18

没有为paddle_inference.dll 加载符号文件

我下载的c++预测库如下图所示，cuda10.2_cudnn7.6_avx_mkl_trt7要求CUDA10.2,CUDNN7.6,TensorRT7。

脆皮茄条·2023-10-15 01:44

瑞芯微平台（RV1126）基于轻量级推理框架TengineInferpipe实现tengine后端的NPU部署应用

TengineInferpipe的简介参考TengineInferPipe在Jetson平台基于TensorRT后端Demo实现_space01的博客-CSDN博客。

space01·2023-10-14 23:38

边缘AI推理框架

tvmTengine可以适配龙芯3aTensorRT只能用在N卡上。OpenEI没开源tinymlEdgeML微软

baidu_35560935·2023-10-14 23:05

飞桨与开源计算框架Tengine共同完成端侧AI加速器模型部署

点击左上方蓝字关注我们几年来Tengine在开源社区深度耕耘，吸引了很多不同背景的开发者群体，其中有一大部分就是PaddlePaddle深度学习平台的死忠用户。一直以来都有用户期待能够打通两者的联动，让Paddle上游的各类优质应用算法模型可以透过Tengine框架部署到更多的AIoT硬件平台上，这样的强强联合既方便了PaddlePaddle的开发者扩大模型落地的硬件选择，也丰富了Tengine对

飞桨PaddlePaddle·2023-10-14 23:04

【Jetson平台 ubuntu 18.04 使用 TensorRT 加速 YOLOv5 检测】

Pytorch版本的模型推理速度有限，为了提高检测速率，使用TensorRT部署。

GUNDAM_EXIA_·2023-10-14 23:59

ubuntu下yolov7 tensorrt模型部署

文章目录ubuntu下yolov7tensorrt模型部署一、Ubuntu18.04环境配置1.1安装工具链和opencv1.2安装Nvidia相关库1.2.1安装Nvidia显卡驱动1.2.2安装cuda11.31.2.3

燃烧的枫·2023-10-14 23:59

ubuntu下yolov6 tensorrt模型部署

文章目录ubuntu下yolov6tensorrt模型部署一、Ubuntu18.04环境配置1.1安装工具链和opencv1.2安装Nvidia相关库1.2.1安装Nvidia显卡驱动1.2.2安装cuda11.31.2.3

燃烧的枫·2023-10-14 23:59

ubuntu下yolov5 tensorrt模型部署

文章目录ubuntu下yolov5tensorrt模型部署一、Ubuntu18.04环境配置1.1安装工具链和opencv1.2安装Nvidia相关库1.2.1安装Nvidia显卡驱动1.2.2安装cuda11.31.2.3

燃烧的枫·2023-10-14 23:27

只需三分钟，让大家都能体验到AI写文章的乐趣！

有一个办法，那就是把模型部署在GPU服务器上，然后别人直接发送请求进行访问就行了。更进一步，还可以做成网页，更方便互动！这里分享一下我本地搭建的网页地址（72小时有效）：h

「已注销」·2023-10-14 17:09

Docker【部署 05】docker使用tensorflow-gpu安装及调用GPU踩坑记录

安装tensorflow-gpu2.Docker使用GPU2.1Couldnotfindcudadrivers2.2wasunabletofindlibcuda.soDSO2.3CouldnotfindTensorRT

シ風箏·2023-10-14 15:59

quantization

https://github.com/NVIDIA/TensorRT/tree/master/tools/pytorch-quantization/docs/source/tutorials一、creating_custom_quantized_modulesThereareseveralquantizedmodulesprovidedbythequantizationtoolasfollows

phily123·2023-10-14 14:19

CUDA编程模型系列十( CUDA Stream / CUDA 流 / 多流执行)

本系列视频目的是帮助开发者们一步步地学会利用CUDA编程模型加速GPU应用,我们的口号是:让GPU飞起来本期我介绍了CUDA中Stream的概念和使用方法,CUDA流也是很多CUDA加速库(cuBLAS,cuDNN,TensorRT

扫地的小何尚·2023-10-14 10:39

Paddle Lite在ARM上的应用，以Yolov5为例

开发板PaddleLite编译（基于python3.7）:2.2.1已经编译好的whl包（arm，支持python、耗时分析功能）下载链接2.2.2自己编译(本地编译)三、模型转换（在本地环境中进行）四、模型部署

Sakura咻·2023-10-14 08:46

深度学习入门学习小记录5——【Pytorch】，模型推理间隔较大时，推理耗时增加且存在波动

目录前言ChatGPT的回答：实际测试解决方法：来自chatGPT的解答：前言最近在进行模型部署的工作，比较关注模型的推理耗时，发现相同的模型在推理时存在耗时波动。

。 7.·2023-10-14 07:00

模型部署，移动端安卓App开发环境搭建和配置教程 ~

点击上方“码农的后花园”，选择“星标”公众号精选文章，第一时间送达在深度学习中，算法模型部署到移动端中应用是最终的目的，上期中讲解了App开发目前主要有以下三种方式：第一种：Eclipse+JDK+AndroidSDK

码农的后花园·2023-10-14 05:00

Ubuntu 20.04 安装 TensorRT 8.2.5.1

首先要安装cuda和cudnn，我装的版本分别是python3.8，cuda11.3，cudnn8.4，TensorRT8.2.5.1一、cuda安装由于本机之前装pytorch的时候已经装过cuda了

猪扒已出闸·2023-10-14 00:13

我的NVIDIA开发者之旅——利用NVIDIA TAO工具包3.0和Deepstream快速搭建车辆信息识别系统

利用NVIDIATAO工具包3.0和Deepstream快速搭建车辆信息识别系统实现目标部署工具：NVIDIADeepStreamSDK简单设置参数工作流程注意事项GPU深度学习推理：TensorRT部署工具实战代码

啥都鼓捣的小yao·2023-10-14 00:30

纽带|MaaS，连接AI与商业落地，重塑行业版图

拓世科技集团·2023-10-13 23:52

建立数据科学基础设施的绝佳指南数据工程师都该人手一册

《Effective数据科学基础设施》由Netflix工程师VilleTuulos撰写，以Metaflow为对象，介绍了数据科学所需要的基础设施，囊括数据准备、特征工程、模型训练、模型部署、服务和持续监控等环节

清图·2023-10-13 21:27

推荐频道

模型部署（tensorRT)