onnx模型部署

TensorFlow 的性能优化的全面指南

适合从入门到进阶的用户：这里写目录标题一、性能优化的核心目标二、训练阶段优化1.硬件加速2.数据管道优化3.模型架构优化4.训练参数调优三、推理阶段优化1.模型量化2.模型剪枝与蒸馏3.硬件加速推理4.代码优化四、模型部署优化

独隅·2025-03-25 23:07

sherpa-onnx 安装和配置指南

sherpa-onnx安装和配置指南sherpa-onnxk2-fsa/sherpa-onnx:Sherpa-ONNX项目与ONNX格式模型的处理有关，可能涉及将语音识别或者其他领域的模型转换为ONNX

盛瑾蓬Seeds·2025-03-25 14:59

开源项目推荐：sherpa-onnx

甄登汉·2025-03-25 14:59

Sherpa-ONNX：说话人识别与语音识别自动开启（VAD）+ Python API 完整指南

介绍Sherpa-ONNX是一个基于ONNX的轻量级语音识别框架，支持多种语音处理任务，包括说话人识别（SpeakerRecognition）和自动语音识别（AutomaticSpeechRecognition

一只蜗牛儿·2025-03-25 14:26

在我的电脑上构建ollama+deepseek-r1-7b运行环境；

这里写自定义目录标题一、环境准备（20分钟）1.1系统要求1.2基础依赖安装二、Ollama安装配置Windows（PowerShell管理员模式）三、DeepSeek模型部署3.1下载模型文件3.2创建

可克·2025-03-25 11:00

模型部署全流程：SavedModel、TFLite、TF.js、ONNX 的导出与实战

模型部署全流程：SavedModel、TFLite、TF.js、ONNX的导出与实战TensorFlow的最大优势之一，就是拥有“端到端部署闭环”。

AI筑梦师·2025-03-25 00:44

C# 调用 VITS，推理模型将文字转wav音频调试 -数字人分支

Microsoft.ML.OnnxRuntime.OnnxRuntimeException:[ErrorCode:InvalidArgument]Inputname:'input_name'isnotinthemetadata

未来之窗软件服务·2025-03-23 08:40

模型部署后的版本回滚策略，如何确保服务降级的平滑性？

模型部署版本回滚策略与平滑服务降级技术体系（2025版）一、核心设计原则与架构模型部署回滚的平滑性需建立在版本隔离性、流量可控性、数据兼容性三大支柱上，结合2025年前沿技术实现多维保障：

百态老人·2025-03-22 14:39

7大模型部署框架深度测评：从理论到DeepSeek R1:7B落地实战

本文深入解析主流模型部署框架（Transformers、ModelScope、vLLM、LMDeploy、Ollama、SGLang、DeepSpeed），结合其技术原理、优缺点及适用场景，并提供DeepSeekR1

人肉推土机·2025-03-22 05:12

QKeras、Brevitas和QONNX量化工具对比

QKeras、Brevitas和QONNX量化工具对比一、引言在深度学习模型部署领域，量化技术已成为提升模型执行效率的关键手段。

kanhao100·2025-03-21 16:48

模型部署实战：PyTorch生产化指南

‌一、为什么要做模型部署？‌

小诸葛IT课堂·2025-03-21 01:45

下一代模型技术演进与场景应用突破

主流框架如TensorFlow和PyTorch持续迭代优化能力，通过动态参数压缩与自适应超参数调优策略，显著提升模型部署效率。应用层创新呈现垂直化特征，医疗诊断模型通

智能计算研究中心·2025-03-21 01:13

深度学习-130-RAG技术之基于Anything LLM搭建本地私人知识库的应用策略问题总结(一)

文章目录1AnythingLLM的本地知识库1.1本地知识库应用场景1.2效果对比及思考1.3本地体现在哪些方面1.3.1知识在本地1.3.2分割后的文档在本地1.3.3大模型部署运行在本地2问错问题带来的问题

皮皮冰燃·2025-03-20 00:43

【大模型开发】ONNX 格式的大模型在 Android 上的部署与测试

以下内容将以ONNX格式的大模型在Android上的部署与测试为核心，提供一套可运行的示例（基于AndroidStudio/Gradle），并结合代码进行详细讲解。

云博士的AI课堂·2025-03-19 08:05

Yolov11目标检测(ultralytics)

Yolov11目标检测（ultralytics）1.克隆仓库2.安装环境依赖3.训练、验证、推理以及onnx模型导出1.克隆仓库从官网下载Yolov11到本地。

@M_J_Y@·2025-03-18 13:02

大数据开发之Kubernetes篇----安装部署Kubernetes&dashboard

Kubernetes简介由于公司有需要，需要将外后的服务外加Tensorflow模型部署加训练全部集成到k8s上，所以特意记录下这次简单部署的过程。

豆豆总·2025-03-18 06:02

YOLOv8n-seg.pt的使用（实例分割，训练自己制作的数据集）

Ubuntu+python3一、YOLOV8源码下载参考：GitHub-ultralytics/ultralytics:NEW-YOLOv8inPyTorch>ONNX>OpenVINO>CoreML>

再坚持一下！！！·2025-03-18 00:10

【大模型开发】大模型转换为 NCNN 格式并在微信小程序中进行调用

目录背景与整体流程概述准备工作2.1常见模型格式与转换思路2.2环境与工具安装模型转换为NCNN格式3.1以ONNX模型为例3.2使用onnx2ncnn工具NCNN在微信小程

云博士的AI课堂·2025-03-17 09:19

mysql创建新表，同步数据

importosimportargparseimportglobimportcv2importnumpyasnpimportonnxruntimeimporttqdmimportpymysqlimporttimeimportjsonfromdatetimeimportdatetimeos.environ

hitsz_syl·2025-03-17 07:37

torch-torchvision-python版本对应问题

module‘torch.onnx.symbolic_helper’hasnoattribute‘quantized_args’今日在联系pytorch时，importtorchvision时报错：module

Thirtyaoe·2025-03-16 13:48

基于 KTransformers的DeepSeek-R1 本地部署方案，成本骤降32倍！

本文将深入探讨DeepSeek-R1部署中的挑战，并介绍一款创新框架KTransformers，它能够显著降低大规模模型部署的成本并提高推理效率，从而帮助更多中小企业有效部署此类高级AI模型。

爱科技Ai·2025-03-16 07:38

rapidocr-onnxruntime库及在open-webui上传PDF 图像处理 (使用 OCR)应用

背景rapidocr-onnxruntime是一个跨平台的OCR库，基于ONNXRuntime推理框架。目前已知运行速度最快、支持最广，完全开源免费并支持离线快速部署的多平台多语言OCR。

原野AI·2025-03-16 02:31

【Rust基础】Rust后端开发常用库

使用Rust有一段时间了，期间尝试过使用Rust做后端开发、命令行工具开发，以及做端侧模型部署，也尝试过交叉编译、FFI调用等，也算是基本入门了。

勇敢牛牛_·2025-03-14 23:48

DeepSeek大模型部署指南

在当今人工智能快速发展的时代，大模型的应用越来越广泛。DeepSeek作为一款高性能的大模型，支持长文本、多模态、代码生成等复杂任务，已经在多个领域展现出强大的能力。本文将详细介绍DeepSeek大模型的部署流程，帮助读者在自己的环境中高效地使用这一先进工具。一、DeepSeek大模型简介DeepSeek是一款专注于大模型与AGI（人工智能通用智能）研究的高性能基座模型。它支持长文本处理、多模态理

点我头像干啥·2025-03-14 12:20

轻量级多模型部署实践：Ollama 与 vLLM 快速构建高效 AI 工作流20250306

轻量级多模型部署实践：Ollama与vLLM快速构建高效AI工作流本文将详细介绍如何在MacOS与Ubuntu环境下使用Ollama与vLLM进行轻量级多模型部署，包括模型并行推理、安全与性能优化的实践经验

Narutolxy·2025-03-13 20:55

backbone和head分开转onnx的优势

模型转换为ONNX格式时，将其分成backbone和head两个部分，通常是出于以下原因：1.模块化设计backbone通常是模型的特征提取部分（例如卷积神经网络的主干部分），负责从输入数据中提取高级特征

yuweififi·2025-03-13 12:33

【YOLOv11[基础]】目标检测OD | 导出ONNX模型 | ONN模型推理以及检测结果可视化 | python

本文将导出YOLO11.pt模型对应的ONNX模型，并且使用ONNX模型推理以及结果的可视化。话不多说，先看看效果图吧！！！目录一导出ONNX模型二推理及检测结果可视化1代码2效果图

Jackilina_Stone·2025-03-13 12:02

onnx处理和TensorRT量化推理相关代码工具

一.说明在模型量化过程中，经常要使用一些工具对onnx或者量化后的模型（这里以TensorRT为例）进行推理，往往需要一些处理工具，比如：拆分或者合并onnx；修改onnx中的量算子QuantizeLinear

天亮换季·2025-03-13 12:26

sparkML入门，通俗解释机器学习的框架和算法

Tometor·2025-03-13 11:53

深度学习基础-onnxruntime推理模型

以下是一个完整的示例，展示如何加载ONNX模型、获取模型信息并运行推理：importonnxruntimeimportnumpyasnp#模型路径bev_head_onnx_path="path/to/

yuweififi·2025-03-13 11:49

8.3 GPTQ量化技术：4倍压缩大模型显存，精度零损失！

8.2GPTQ：专为GPT设计的模型量化算法一、模型量化技术背景在讨论GPTQ之前，我们需要先理解大模型部署面临的显存困境。

少林码僧·2025-03-12 01:16

人工智能混合编程实践：C++调用Python ONNX进行YOLOv8推理

人工智能混合编程实践：C++调用PythonONNX进行YOLOv8推理前言相关介绍Python简介C++简介ONNX简介YOLOv8简介前提条件实验环境项目结构C++调用PythonONNX进行YOLOv8

FriendshipT·2025-03-11 22:48

如果，你想找 AI大模型相关的工作，这三个建议你一定要看！

01各种大厂小厂创业团队和AI擦边的面试难度，由难到简单，依次是：大模型算法（⭐⭐⭐⭐⭐）模型部署加速（⭐⭐⭐⭐）RAG等相关技术（⭐⭐⭐）纯应用（⭐⭐）Prompt工程师等其他自媒体（⭐）会简单应用就行

我爱学大模型·2025-03-11 14:45

ONNX GraphSurgeon详细介绍

ONNXGraphSurgeon(ONNX-GS)是一个用于操作和修改ONNX（OpenNeuralNetworkExchange）模型图的Python库。

Lntano__y·2025-03-10 19:12

langchain4j+ONNX小试牛刀

序本文主要研究一下langchain4j结合ONNX进行得分重排步骤pom.xmldev.langchain4jlangchain4j-onnx-scoring1.0.0-beta1下载模型wgethttps

·2025-03-09 16:47

kokoro 82M参数的声音模型kokoro-onnx，支持中文

kokoro大约是官网：github.comonnx推理官网：GitHub-thewh1teagle/kokoro-onnx:TTSwithkokoroandonnxruntime可以参考这个文档使用：

skywalk8163·2025-03-09 10:58

基于Flask和VUE的YOLOv5目标检测模型部署

基于Flask和VUE的YOLOv5目标检测模型部署基于Flask和VUE的YOLOv5目标检测模型部署本资源文件提供了一个基于Flask开发后端、VUE开发前端框架的完整项目，用于在WEB端部署YOLOv5

薄泳蕙Howard·2025-03-09 01:26

基于Flask和VUE的YOLOv5目标检测模型部署：轻松实现WEB端目标检测

基于Flask和VUE的YOLOv5目标检测模型部署：轻松实现WEB端目标检测【下载地址】Yolov5-Flask-VUE基于Flask和VUE的YOLOv5目标检测模型部署本项目提供了一个基于Flask

咎尉裕Lilah·2025-03-09 01:18

Jetson系列: tensorrt-python推理yolov5（一）

目录一.onnx模型导出二.TensorRT模型本地序列化三.算法整体Pipline架构四.算法整体Pipline实现一.onnx模型导出在使用tensorrt进行加速之前需要将自己的torch模型转为

weixin_55083979·2025-03-08 20:08

《Ollama ：开启本地大模型部署新时代》：此文为AI自动生成

《Ollama：开启本地大模型部署新时代》：此文为AI自动生成走进Ollama在大模型技术迅猛发展的当下，Ollama如同一颗耀眼的新星，在众多大模型中崭露头角。

空云风语·2025-03-07 18:53

【yolov8】模型导出----pytorch导出为onnx模型

【yolov8】模型导出一、为什么要使用yolo的导出模式二、确保安装必要的库：三、yolov8模型导出3.1不同格式配置参数3.2导出格式四、导出模型性能优化4.1使用TensorRT导出模型有什么好处？4.2导出YOLOv8模型时，如何启用INT8量化？4.3为什么输出模型时动态输入尺寸很重要？4.4优化模型性能需要考虑哪些关键的导出参数？五、问题六、疑问训练模型的最终目标是将其部署到实际应用

栗子风暴·2025-03-07 09:12

YOLOv8目标检测推理流程及C++代码

这部分主要是使用c++对Onnx模型进行推理，边先贴代码，过段时间再详细补充下代码说明。

吃鱼不卡次·2025-03-06 22:49

YoLo运用学习7

目录前言一、C#环境使用YoLo模型进行AI推理检测1.加载图片2.图片预处理3.加载onnx模型并推理4.数据后处理5.图片属性值缩放还原和反归一化6.将解析到的信息的集合绘制成处理后图片总结前言根据

老农民编程·2025-03-06 19:51

C++使用Onnxruntime/TensorRT模型推理

onnxruntime和tensorrt是我们常用的两种推理方式，下面整理了两个推理示例，仅供参考。

奇华智能·2025-03-05 16:30

DeepSeek×博云AIOS：突破算力桎梏，开启AI普惠新纪元

背景在全球人工智能技术高速迭代的背景下，算力成本高企、异构资源适配复杂、模型部署效率低下等问题，始终是制约企业AI规模化应用的关键。

·2025-03-05 15:45

python流水线自动化项目教程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言1.项目环境准备Python安装选择Python开发环境安装必要库2.数据获取与理解4.模型训练流水线6.模型保存7.模型部署

小白教程·2025-03-04 12:46

YOLO 中 SPFF 模块的优化与 Focal Modulation 替代研究

FocalModulation替换SPPF4.实验与对比分析4.1代码替换YOLO模型中的SPPF4.2训练对比5.AblationStudy（消融实验）5.1不同模块的对比实验5.2目标尺寸对比分析6.模型部署与推理优化

向哆哆·2025-03-03 10:57

计算机视觉实战：YOLOv8在工业质检中的应用（附完整代码+数据集）

从数据标注到模型部署，包含环境配置、数据增强、模型训练全流程详解，手把手教你打造高精度智能质检系统！

emmm形成中·2025-03-03 00:03

C# 牵手DeepSeek：打造本地AI超能力

随着数据隐私和安全意识的提升，以及对模型部署灵活性的追求，本地部署DeepSeek成为众多开发者和企业关注的焦点。

步、步、为营·2025-03-02 20:02

大模型时代的DeepSeek突围之路：从模型部署到场景落地全解析

本期将手把手教你从模型部署到场景落地，搭建完整的D

zhangjiaofa·2025-03-02 15:29

推荐频道