TensorRT模型部署

TensorFlow 的性能优化的全面指南

适合从入门到进阶的用户：这里写目录标题一、性能优化的核心目标二、训练阶段优化1.硬件加速2.数据管道优化3.模型架构优化4.训练参数调优三、推理阶段优化1.模型量化2.模型剪枝与蒸馏3.硬件加速推理4.代码优化四、模型部署优化

独隅·2025-03-25 23:07

在我的电脑上构建ollama+deepseek-r1-7b运行环境；

这里写自定义目录标题一、环境准备（20分钟）1.1系统要求1.2基础依赖安装二、Ollama安装配置Windows（PowerShell管理员模式）三、DeepSeek模型部署3.1下载模型文件3.2创建

可克·2025-03-25 11:00

模型部署全流程：SavedModel、TFLite、TF.js、ONNX 的导出与实战

模型部署全流程：SavedModel、TFLite、TF.js、ONNX的导出与实战TensorFlow的最大优势之一，就是拥有“端到端部署闭环”。

AI筑梦师·2025-03-25 00:44

模型部署后的版本回滚策略，如何确保服务降级的平滑性？

模型部署版本回滚策略与平滑服务降级技术体系（2025版）一、核心设计原则与架构模型部署回滚的平滑性需建立在版本隔离性、流量可控性、数据兼容性三大支柱上，结合2025年前沿技术实现多维保障：

百态老人·2025-03-22 14:39

7大模型部署框架深度测评：从理论到DeepSeek R1:7B落地实战

本文深入解析主流模型部署框架（Transformers、ModelScope、vLLM、LMDeploy、Ollama、SGLang、DeepSpeed），结合其技术原理、优缺点及适用场景，并提供DeepSeekR1

人肉推土机·2025-03-22 05:12

QKeras、Brevitas和QONNX量化工具对比

QKeras、Brevitas和QONNX量化工具对比一、引言在深度学习模型部署领域，量化技术已成为提升模型执行效率的关键手段。

kanhao100·2025-03-21 16:48

模型部署实战：PyTorch生产化指南

‌一、为什么要做模型部署？‌

小诸葛IT课堂·2025-03-21 01:45

下一代模型技术演进与场景应用突破

主流框架如TensorFlow和PyTorch持续迭代优化能力，通过动态参数压缩与自适应超参数调优策略，显著提升模型部署效率。应用层创新呈现垂直化特征，医疗诊断模型通

智能计算研究中心·2025-03-21 01:13

已解决：python多线程使用TensorRT输出为零？附tensorrt推理代码

设备：cuda12.1,cudnn8.9.2,tensorrt8.6.11.问题tensorrt的推理没输出？？？

李卓璐·2025-03-20 18:11

深度学习-130-RAG技术之基于Anything LLM搭建本地私人知识库的应用策略问题总结(一)

文章目录1AnythingLLM的本地知识库1.1本地知识库应用场景1.2效果对比及思考1.3本地体现在哪些方面1.3.1知识在本地1.3.2分割后的文档在本地1.3.3大模型部署运行在本地2问错问题带来的问题

皮皮冰燃·2025-03-20 00:43

Ubuntu20.04 RTX4060 AI环境搭建

下面记录在Ubuntu20.04环境下，使用ASUSATS-RTX4060-O8G-V2显卡，搭建NvidiaTensorRT开发环境。

stxinu·2025-03-19 05:03

大数据开发之Kubernetes篇----安装部署Kubernetes&dashboard

Kubernetes简介由于公司有需要，需要将外后的服务外加Tensorflow模型部署加训练全部集成到k8s上，所以特意记录下这次简单部署的过程。

豆豆总·2025-03-18 06:02

CMake Error at myplugins_generated_yololayer.cu.o.Debug，tensorrtx编译失败解决

system:ubuntu1804gpu:3060cuda:cuda11.4tensorrt:8.4使用项目tensorrtx进行yolov5的engine生成，之前在编译成功的配置为system:ubuntu1804gpu

雪可问春风·2025-03-16 08:11

基于 KTransformers的DeepSeek-R1 本地部署方案，成本骤降32倍！

本文将深入探讨DeepSeek-R1部署中的挑战，并介绍一款创新框架KTransformers，它能够显著降低大规模模型部署的成本并提高推理效率，从而帮助更多中小企业有效部署此类高级AI模型。

爱科技Ai·2025-03-16 07:38

TensorRT-LLM保姆级教程-快速入门

本系列将针对TensorRT-LLM推理进行讲解。本文为该系列第一篇，将简要概述TensorRT-LLM的基本特性。另外，我撰写的大模型相关的博客及配套代码均整理放置在Github，有需要的朋友自

大模型八哥·2025-03-16 02:34

【Rust基础】Rust后端开发常用库

使用Rust有一段时间了，期间尝试过使用Rust做后端开发、命令行工具开发，以及做端侧模型部署，也尝试过交叉编译、FFI调用等，也算是基本入门了。

勇敢牛牛_·2025-03-14 23:48

DeepSeek大模型部署指南

在当今人工智能快速发展的时代，大模型的应用越来越广泛。DeepSeek作为一款高性能的大模型，支持长文本、多模态、代码生成等复杂任务，已经在多个领域展现出强大的能力。本文将详细介绍DeepSeek大模型的部署流程，帮助读者在自己的环境中高效地使用这一先进工具。一、DeepSeek大模型简介DeepSeek是一款专注于大模型与AGI（人工智能通用智能）研究的高性能基座模型。它支持长文本处理、多模态理

点我头像干啥·2025-03-14 12:20

轻量级多模型部署实践：Ollama 与 vLLM 快速构建高效 AI 工作流20250306

轻量级多模型部署实践：Ollama与vLLM快速构建高效AI工作流本文将详细介绍如何在MacOS与Ubuntu环境下使用Ollama与vLLM进行轻量级多模型部署，包括模型并行推理、安全与性能优化的实践经验

Narutolxy·2025-03-13 20:55

本地部署时，如何通过硬件加速（如 CUDA、TensorRT）提升 DeepSeek 的推理性能？不同显卡型号的兼容性如何测试？

本地部署DeepSeek模型的硬件加速优化与显卡兼容性测试指南一、硬件加速技术实现路径CUDA基础环境搭建版本匹配原则：根据显卡架构选择CUDA版本（如NVIDIARTX50系列需CUDA12+，V100需CUDA11.x），并通过nvcc--version验证安装。GPU加速验证：运行以下代码检查硬件加速状态：importtensorflowastfprint("可用GPU数量：",len(tf

百态老人·2025-03-13 14:43

人工智能 - TensorRT与DeepDP终极指南：释放GPU潜能的深度学习推理优化之道

TensorRTTensorRT（TensorRuntime）是英伟达（NVIDIA）推出的高性能深度学习推理（Inference）优化器和运行时库，专为在NVIDIAGPU上高效部署深度学习模型而设计

天机️灵韵·2025-03-13 13:36

onnx处理和TensorRT量化推理相关代码工具

一.说明在模型量化过程中，经常要使用一些工具对onnx或者量化后的模型（这里以TensorRT为例）进行推理，往往需要一些处理工具，比如：拆分或者合并onnx；修改onnx中的量算子QuantizeLinear

天亮换季·2025-03-13 12:26

sparkML入门，通俗解释机器学习的框架和算法

Tometor·2025-03-13 11:53

CUDA12.1 cudnn9.0.1 python3.10.12配置TensorRT8.6.1，完成yolov12tensorRT推理完整过程

一、配置TensorRT8.6.11.下载TensorRT8.6.1包TensorRT完全依赖CUDA，因此下载其版本时一定要考虑CUDA的版本。

李卓璐·2025-03-13 01:33

8.3 GPTQ量化技术：4倍压缩大模型显存，精度零损失！

8.2GPTQ：专为GPT设计的模型量化算法一、模型量化技术背景在讨论GPTQ之前，我们需要先理解大模型部署面临的显存困境。

少林码僧·2025-03-12 01:16

如果，你想找 AI大模型相关的工作，这三个建议你一定要看！

01各种大厂小厂创业团队和AI擦边的面试难度，由难到简单，依次是：大模型算法（⭐⭐⭐⭐⭐）模型部署加速（⭐⭐⭐⭐）RAG等相关技术（⭐⭐⭐）纯应用（⭐⭐）Prompt工程师等其他自媒体（⭐）会简单应用就行

我爱学大模型·2025-03-11 14:45

ONNX GraphSurgeon详细介绍

ONNXGraphSurgeon常用于TensorRT中，用来优化和调整ONNX模型，以便于模型可以高效地在GP

Lntano__y·2025-03-10 19:12

基于Flask和VUE的YOLOv5目标检测模型部署

基于Flask和VUE的YOLOv5目标检测模型部署基于Flask和VUE的YOLOv5目标检测模型部署本资源文件提供了一个基于Flask开发后端、VUE开发前端框架的完整项目，用于在WEB端部署YOLOv5

薄泳蕙Howard·2025-03-09 01:26

基于Flask和VUE的YOLOv5目标检测模型部署：轻松实现WEB端目标检测

基于Flask和VUE的YOLOv5目标检测模型部署：轻松实现WEB端目标检测【下载地址】Yolov5-Flask-VUE基于Flask和VUE的YOLOv5目标检测模型部署本项目提供了一个基于Flask

咎尉裕Lilah·2025-03-09 01:18

Jetson系列: tensorrt-python推理yolov5（一）

目录一.onnx模型导出二.TensorRT模型本地序列化三.算法整体Pipline架构四.算法整体Pipline实现一.onnx模型导出在使用tensorrt进行加速之前需要将自己的torch模型转为

weixin_55083979·2025-03-08 20:08

【深度学习模型高效部署】tensorRT_Pro深度解读：部署深度学习模型的高效方案

以下内容将对tensorRT_Pro项目做一个系统的介绍，包括其核心价值、主要功能、应用案例以及关键的示例代码（附详细解释），帮助你快速了解并上手如何基于TensorRT在NVIDIAGPU上实现高性能推理

云博士的AI课堂·2025-03-08 18:50

《Ollama ：开启本地大模型部署新时代》：此文为AI自动生成

《Ollama：开启本地大模型部署新时代》：此文为AI自动生成走进Ollama在大模型技术迅猛发展的当下，Ollama如同一颗耀眼的新星，在众多大模型中崭露头角。

空云风语·2025-03-07 18:53

【yolov8】模型导出----pytorch导出为onnx模型

【yolov8】模型导出一、为什么要使用yolo的导出模式二、确保安装必要的库：三、yolov8模型导出3.1不同格式配置参数3.2导出格式四、导出模型性能优化4.1使用TensorRT导出模型有什么好处

栗子风暴·2025-03-07 09:12

C++使用Onnxruntime/TensorRT模型推理

onnxruntime和tensorrt是我们常用的两种推理方式，下面整理了两个推理示例，仅供参考。

奇华智能·2025-03-05 16:30

DeepSeek×博云AIOS：突破算力桎梏，开启AI普惠新纪元

背景在全球人工智能技术高速迭代的背景下，算力成本高企、异构资源适配复杂、模型部署效率低下等问题，始终是制约企业AI规模化应用的关键。

·2025-03-05 15:45

python流水线自动化项目教程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言1.项目环境准备Python安装选择Python开发环境安装必要库2.数据获取与理解4.模型训练流水线6.模型保存7.模型部署

小白教程·2025-03-04 12:46

YOLO 中 SPFF 模块的优化与 Focal Modulation 替代研究

FocalModulation替换SPPF4.实验与对比分析4.1代码替换YOLO模型中的SPPF4.2训练对比5.AblationStudy（消融实验）5.1不同模块的对比实验5.2目标尺寸对比分析6.模型部署与推理优化

向哆哆·2025-03-03 10:57

计算机视觉实战：YOLOv8在工业质检中的应用（附完整代码+数据集）

从数据标注到模型部署，包含环境配置、数据增强、模型训练全流程详解，手把手教你打造高精度智能质检系统！

emmm形成中·2025-03-03 00:03

C# 牵手DeepSeek：打造本地AI超能力

随着数据隐私和安全意识的提升，以及对模型部署灵活性的追求，本地部署DeepSeek成为众多开发者和企业关注的焦点。

步、步、为营·2025-03-02 20:02

大模型时代的DeepSeek突围之路：从模型部署到场景落地全解析

本期将手把手教你从模型部署到场景落地，搭建完整的D

zhangjiaofa·2025-03-02 15:29

【模型部署】大模型部署工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择？

在选择大模型部署工具时，需要考虑多个因素，包括性能、支持的语言和模型、硬件支持、易用性以及社区支持等。

深度求索者·2025-03-02 08:19

yolov5-训练好的模型部署的几种方式-ONNX

ONNX，即OpenNeuralNetworkExchange，是微软和Facebook发布的一个深度学习开发工具生态系统，旨在让AI开发人员能够随着项目发展而选择正确的工具。ONNX所针对的是深度学习开发生态中最关键的问题之一，在任意一个框架上训练的神经网络模型，无法直接在另一个框架上用。开发者需要耗费大量时间精力把模型从一个开发平台移植到另一个。因此，如何实现不同框架之间的互操作性，简化从研究

黄晓魚·2025-03-01 08:30

一文了解：部署 Deepseek 各版本的硬件要求

很多朋友在咨询关于DeepSeek模型部署所需硬件资源的需求，最近自己实践了一部分，部分信息是通过各渠道收集整理，so仅供参考。

强哥之神·2025-03-01 00:04

【AI测试学习】AnythingLLM+Ollama+DeepSeek部署私人知识库

1.搭建DeepSeek大语言模型1.1Ollama大预言模型部署Ollama简化了大型语言模型的运行，让每个人都能在本地轻松体验AI的强大，打开浏览器-下载Ollama-输入命令-搞定，这是本地部署大语言模型的全新方式

艳Yansky·2025-02-28 16:37

用Python实现LSTM预测电影票房：从数据爬取到模型部署全解析（结尾附完整代码）

导语：当电影的预告片发布时，你是否好奇AI能否预测它的票房表现？本文将带你深入实战，从数据动态爬取到LSTM模型调优，手把手构建一个高精度票房预测系统。一、为什么LSTM是票房预测的利器？1.1电影票房的关键影响因素35%25%20%15%5%票房核心影响因素占比演员号召力IP热度档期竞争宣传投入其他时序特征：上映前后的宣传节奏、口碑传播曲线非线性关系：主演流量与票房的S型增长关系长周期依赖：系列

WHCIS·2025-02-28 13:15

【AI+智造】基于阿里云Ubuntu24.04系统，使用Ollama部署开源DeepSeek模型并集成到企业微信

Ollama工具：轻量化本地模型部署框架，支持一键拉取模型镜像并启动API服务。企业微信集成：

邹工转型手札·2025-02-28 10:46

分享一个学习Ollama的开源项目，轻松上手大模型部署

最近deepseek火得不行，很多人都想在家里部署一个来玩一下，所以到处找资源学习。机缘巧合下搜到了这个项目，内容相当给力，不敢私藏，分享出来给需要的同学。项目地址：https://github.com/datawhalechina/handy-ollamalink在线阅读：https://datawhalechina.github.io/handy-ollama/link效果预览：感谢所有对该项

可可南木·2025-02-27 12:50

IPEX-LLM: 英特尔硬件大语言模型加速库部署

本指南将帮助你掌握如何使用IPEX-LLM（IntelPyTorchExtensionforLargeLanguageModels）在英特尔硬件上实现最优化的模型部署。

Felix_bin·2025-02-26 17:23

DeepSeek基础之机器学习

泛化能力的重要性（二）归纳偏好的影响（三）NFL定理的启示三、应用场景联想（一）电商推荐系统（二）医疗诊断四、机器学习的基本流程（一）问题定义（二）数据收集与预处理（三）模型选择与训练（四）模型评估与优化（五）模型部署与应用五

珠峰日记·2025-02-25 22:07

yolov5转onnx模型，onnx转rknn模型部署在rk3588平台上

wtqpshhh·2025-02-25 21:59

免费 MLOps 课程：学习机器学习运维的完整流程

掌握MLOps：训练和跟踪实验、构建ML流水线、模型部署、生产环境监控，并从DevOps采用最佳实践。

真智AI·2025-02-25 05:11

推荐频道