模型部署-ncnn

模型部署后的版本回滚策略，如何确保服务降级的平滑性？

模型部署版本回滚策略与平滑服务降级技术体系（2025版）一、核心设计原则与架构模型部署回滚的平滑性需建立在版本隔离性、流量可控性、数据兼容性三大支柱上，结合2025年前沿技术实现多维保障：

百态老人·2025-03-22 14:39

7大模型部署框架深度测评：从理论到DeepSeek R1:7B落地实战

本文深入解析主流模型部署框架（Transformers、ModelScope、vLLM、LMDeploy、Ollama、SGLang、DeepSpeed），结合其技术原理、优缺点及适用场景，并提供DeepSeekR1

人肉推土机·2025-03-22 05:12

QKeras、Brevitas和QONNX量化工具对比

QKeras、Brevitas和QONNX量化工具对比一、引言在深度学习模型部署领域，量化技术已成为提升模型执行效率的关键手段。

kanhao100·2025-03-21 16:48

模型部署实战：PyTorch生产化指南

‌一、为什么要做模型部署？‌

小诸葛IT课堂·2025-03-21 01:45

下一代模型技术演进与场景应用突破

主流框架如TensorFlow和PyTorch持续迭代优化能力，通过动态参数压缩与自适应超参数调优策略，显著提升模型部署效率。应用层创新呈现垂直化特征，医疗诊断模型通

智能计算研究中心·2025-03-21 01:13

深度学习-130-RAG技术之基于Anything LLM搭建本地私人知识库的应用策略问题总结(一)

文章目录1AnythingLLM的本地知识库1.1本地知识库应用场景1.2效果对比及思考1.3本地体现在哪些方面1.3.1知识在本地1.3.2分割后的文档在本地1.3.3大模型部署运行在本地2问错问题带来的问题

皮皮冰燃·2025-03-20 00:43

大数据开发之Kubernetes篇----安装部署Kubernetes&dashboard

Kubernetes简介由于公司有需要，需要将外后的服务外加Tensorflow模型部署加训练全部集成到k8s上，所以特意记录下这次简单部署的过程。

豆豆总·2025-03-18 06:02

【sklearn 04】DNN、CNN、RNN

DNNDNN（DeepNeuralNetworks，深度神经网络）是一种相对浅层机器学习模型具有更多参数，需要更多数据进行训练的机器学习算法CNNCNN（convolutionalNeuralNetworks

@金色海岸·2025-03-17 09:24

【大模型开发】大模型转换为 NCNN 格式并在微信小程序中进行调用

以下内容将介绍如何将大模型转换为NCNN格式并在微信小程序中进行调用。

云博士的AI课堂·2025-03-17 09:19

基于 KTransformers的DeepSeek-R1 本地部署方案，成本骤降32倍！

本文将深入探讨DeepSeek-R1部署中的挑战，并介绍一款创新框架KTransformers，它能够显著降低大规模模型部署的成本并提高推理效率，从而帮助更多中小企业有效部署此类高级AI模型。

爱科技Ai·2025-03-16 07:38

【Rust基础】Rust后端开发常用库

使用Rust有一段时间了，期间尝试过使用Rust做后端开发、命令行工具开发，以及做端侧模型部署，也尝试过交叉编译、FFI调用等，也算是基本入门了。

勇敢牛牛_·2025-03-14 23:48

DeepSeek大模型部署指南

在当今人工智能快速发展的时代，大模型的应用越来越广泛。DeepSeek作为一款高性能的大模型，支持长文本、多模态、代码生成等复杂任务，已经在多个领域展现出强大的能力。本文将详细介绍DeepSeek大模型的部署流程，帮助读者在自己的环境中高效地使用这一先进工具。一、DeepSeek大模型简介DeepSeek是一款专注于大模型与AGI（人工智能通用智能）研究的高性能基座模型。它支持长文本处理、多模态理

点我头像干啥·2025-03-14 12:20

轻量级多模型部署实践：Ollama 与 vLLM 快速构建高效 AI 工作流20250306

轻量级多模型部署实践：Ollama与vLLM快速构建高效AI工作流本文将详细介绍如何在MacOS与Ubuntu环境下使用Ollama与vLLM进行轻量级多模型部署，包括模型并行推理、安全与性能优化的实践经验

Narutolxy·2025-03-13 20:55

sparkML入门，通俗解释机器学习的框架和算法

Tometor·2025-03-13 11:53

8.3 GPTQ量化技术：4倍压缩大模型显存，精度零损失！

8.2GPTQ：专为GPT设计的模型量化算法一、模型量化技术背景在讨论GPTQ之前，我们需要先理解大模型部署面临的显存困境。

少林码僧·2025-03-12 01:16

如果，你想找 AI大模型相关的工作，这三个建议你一定要看！

01各种大厂小厂创业团队和AI擦边的面试难度，由难到简单，依次是：大模型算法（⭐⭐⭐⭐⭐）模型部署加速（⭐⭐⭐⭐）RAG等相关技术（⭐⭐⭐）纯应用（⭐⭐）Prompt工程师等其他自媒体（⭐）会简单应用就行

我爱学大模型·2025-03-11 14:45

基于Flask和VUE的YOLOv5目标检测模型部署

基于Flask和VUE的YOLOv5目标检测模型部署基于Flask和VUE的YOLOv5目标检测模型部署本资源文件提供了一个基于Flask开发后端、VUE开发前端框架的完整项目，用于在WEB端部署YOLOv5

薄泳蕙Howard·2025-03-09 01:26

基于Flask和VUE的YOLOv5目标检测模型部署：轻松实现WEB端目标检测

基于Flask和VUE的YOLOv5目标检测模型部署：轻松实现WEB端目标检测【下载地址】Yolov5-Flask-VUE基于Flask和VUE的YOLOv5目标检测模型部署本项目提供了一个基于Flask

咎尉裕Lilah·2025-03-09 01:18

《Ollama ：开启本地大模型部署新时代》：此文为AI自动生成

《Ollama：开启本地大模型部署新时代》：此文为AI自动生成走进Ollama在大模型技术迅猛发展的当下，Ollama如同一颗耀眼的新星，在众多大模型中崭露头角。

空云风语·2025-03-07 18:53

DeepSeek×博云AIOS：突破算力桎梏，开启AI普惠新纪元

背景在全球人工智能技术高速迭代的背景下，算力成本高企、异构资源适配复杂、模型部署效率低下等问题，始终是制约企业AI规模化应用的关键。

·2025-03-05 15:45

python流水线自动化项目教程

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言1.项目环境准备Python安装选择Python开发环境安装必要库2.数据获取与理解4.模型训练流水线6.模型保存7.模型部署

小白教程·2025-03-04 12:46

YOLO 中 SPFF 模块的优化与 Focal Modulation 替代研究

FocalModulation替换SPPF4.实验与对比分析4.1代码替换YOLO模型中的SPPF4.2训练对比5.AblationStudy（消融实验）5.1不同模块的对比实验5.2目标尺寸对比分析6.模型部署与推理优化

向哆哆·2025-03-03 10:57

计算机视觉实战：YOLOv8在工业质检中的应用（附完整代码+数据集）

从数据标注到模型部署，包含环境配置、数据增强、模型训练全流程详解，手把手教你打造高精度智能质检系统！

emmm形成中·2025-03-03 00:03

C# 牵手DeepSeek：打造本地AI超能力

随着数据隐私和安全意识的提升，以及对模型部署灵活性的追求，本地部署DeepSeek成为众多开发者和企业关注的焦点。

步、步、为营·2025-03-02 20:02

大模型时代的DeepSeek突围之路：从模型部署到场景落地全解析

本期将手把手教你从模型部署到场景落地，搭建完整的D

zhangjiaofa·2025-03-02 15:29

【模型部署】大模型部署工具对比：SGLang, Ollama, VLLM, LLaMA.cpp如何选择？

在选择大模型部署工具时，需要考虑多个因素，包括性能、支持的语言和模型、硬件支持、易用性以及社区支持等。

深度求索者·2025-03-02 08:19

yolov5-训练好的模型部署的几种方式-ONNX

ONNX，即OpenNeuralNetworkExchange，是微软和Facebook发布的一个深度学习开发工具生态系统，旨在让AI开发人员能够随着项目发展而选择正确的工具。ONNX所针对的是深度学习开发生态中最关键的问题之一，在任意一个框架上训练的神经网络模型，无法直接在另一个框架上用。开发者需要耗费大量时间精力把模型从一个开发平台移植到另一个。因此，如何实现不同框架之间的互操作性，简化从研究

黄晓魚·2025-03-01 08:30

一文了解：部署 Deepseek 各版本的硬件要求

很多朋友在咨询关于DeepSeek模型部署所需硬件资源的需求，最近自己实践了一部分，部分信息是通过各渠道收集整理，so仅供参考。

强哥之神·2025-03-01 00:04

【AI测试学习】AnythingLLM+Ollama+DeepSeek部署私人知识库

1.搭建DeepSeek大语言模型1.1Ollama大预言模型部署Ollama简化了大型语言模型的运行，让每个人都能在本地轻松体验AI的强大，打开浏览器-下载Ollama-输入命令-搞定，这是本地部署大语言模型的全新方式

艳Yansky·2025-02-28 16:37

用Python实现LSTM预测电影票房：从数据爬取到模型部署全解析（结尾附完整代码）

导语：当电影的预告片发布时，你是否好奇AI能否预测它的票房表现？本文将带你深入实战，从数据动态爬取到LSTM模型调优，手把手构建一个高精度票房预测系统。一、为什么LSTM是票房预测的利器？1.1电影票房的关键影响因素35%25%20%15%5%票房核心影响因素占比演员号召力IP热度档期竞争宣传投入其他时序特征：上映前后的宣传节奏、口碑传播曲线非线性关系：主演流量与票房的S型增长关系长周期依赖：系列

WHCIS·2025-02-28 13:15

【AI+智造】基于阿里云Ubuntu24.04系统，使用Ollama部署开源DeepSeek模型并集成到企业微信

Ollama工具：轻量化本地模型部署框架，支持一键拉取模型镜像并启动API服务。企业微信集成：

邹工转型手札·2025-02-28 10:46

PyTorch模型安卓部署流程(NCNN)全流程实战（2）代码详细解析

代码来源PyTorch模型安卓部署流程(NCNN)全流程实战（1）至于为什么要备注，因为我基础不好，就得一点一点来适合和我一样的慢羊羊学习项目整体结构1.布局文件不解析了比较简单最简单的线性布局main.xml2

咕咕学不会咋办·2025-02-27 15:06

分享一个学习Ollama的开源项目，轻松上手大模型部署

最近deepseek火得不行，很多人都想在家里部署一个来玩一下，所以到处找资源学习。机缘巧合下搜到了这个项目，内容相当给力，不敢私藏，分享出来给需要的同学。项目地址：https://github.com/datawhalechina/handy-ollamalink在线阅读：https://datawhalechina.github.io/handy-ollama/link效果预览：感谢所有对该项

可可南木·2025-02-27 12:50

IPEX-LLM: 英特尔硬件大语言模型加速库部署

本指南将帮助你掌握如何使用IPEX-LLM（IntelPyTorchExtensionforLargeLanguageModels）在英特尔硬件上实现最优化的模型部署。

Felix_bin·2025-02-26 17:23

DeepSeek基础之机器学习

泛化能力的重要性（二）归纳偏好的影响（三）NFL定理的启示三、应用场景联想（一）电商推荐系统（二）医疗诊断四、机器学习的基本流程（一）问题定义（二）数据收集与预处理（三）模型选择与训练（四）模型评估与优化（五）模型部署与应用五

珠峰日记·2025-02-25 22:07

yolov5转onnx模型，onnx转rknn模型部署在rk3588平台上

wtqpshhh·2025-02-25 21:59

免费 MLOps 课程：学习机器学习运维的完整流程

掌握MLOps：训练和跟踪实验、构建ML流水线、模型部署、生产环境监控，并从DevOps采用最佳实践。

真智AI·2025-02-25 05:11

ChatGLM-6B中英双语对话大模型Windows本地部署实战

目录智谱清言ChatGLM简介ChatGLM下载硬件需求Conda环境下载代码下载模型部署测试网页版Demo命令行DemoAPI方式部署低成本部署智谱清言智谱清言是北京智谱华章科技有限公司研发的大模型。

ErbaoLiu·2025-02-24 13:45

地平线 3D 目标检测 bev_sparse 参考算法 - V2.0

该示例为参考算法，仅作为在征程6上模型部署的设计参考，非量产算法简介在自动驾驶视觉感知系统中，为了获得环绕车辆范围的感知结果，通常需要融合多摄像头的感知结果。

·2025-02-23 20:38

deepseek-r1系列模型私有化部署分别需要的最低硬件配置

‌DeepSeek-R1系列模型部署所需的最低硬件配置如下‌：‌DeepSeek-R1-1.5B‌‌CPU‌：最低4核（推荐多核处理器）‌内存‌：8GB+‌硬盘‌：3GB+存储空间（模型文件约1.5-2GB

Sophie'sCookingLab·2025-02-23 05:21

DeepSeek爆火全网！清华团队104页教程+1000个神级提示词，手把手教你玩转AI神器

·2025-02-23 04:53

2025asp.net全栈技术开发学习路线图

2025年技术亮点‌：Blazor已全面支持WebAssembly2.0标准.NET8+版本原生集成AI模型部署能力AzureKubernetes服务实现智能自动扩缩容EFCore新增向量数据库支持特性‌

mabanbang·2025-02-22 19:06

【Deepseek+Dify】wsl2+docker+Deepseek+Dify部署本地大模型知识库问题总结

wsl2+docker+Deepseek+Dify部署本地大模型知识库问题总结基于ollama部署本地文本模型和嵌入模型部署教程DeepSeek+dify本地知识库：真的太香了问题贴：启动wsl中docker

turboSniper·2025-02-22 15:29

【deepseek】本地部署后api接口的封装

FastAPI应用四、使用API五、客户端api调用前言本文内容包含如何将Deepseek本地模型的RAG知识库文件读取、对话选择、对话回复和历史对话封装成API供其他应用调用的具体步骤，本地Deepseek模型部署及知识库挂载请参考上篇博客

Neo很努力·2025-02-22 07:27

大模型量化概述

近年来，随着Transformer、MOE架构的提出，使得深度学习模型轻松突破上万亿规模参数，从而导致模型变得越来越大，因此，我们需要一些大模型压缩技术来降低模型部署的成本，并提升模型的推理性能。

AI领航者·2025-02-22 04:02

DeepSeek使用中的问题及解决方案（部分）

1.模型部署与配置问题问题1：环境依赖冲突现象：安装模型依赖库时出现版本不兼容（如Python、PyTorch版本冲突）。解决方案：使用虚拟环境（如conda或venv）隔离依赖。

WeiLai1112·2025-02-20 07:17

HarmonyOS Next轻量化模型的部署与优化

本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）中轻量化模型部署与优化相关技术细节，基于实际开发实践进行总结。

·2025-02-18 22:36

腾讯云目前支持4种DeepSeek开源大模型部署方案

欢迎交流#deepseek腾讯云目前支持4种DeepSeek开源大模型部署方案1、面向开发者开箱即用的HAI方式1）参考：https://mp.weixin.qq.com/s/kZLPfXv3b1sxLSwyRVsEsg2

szqcloud·2025-02-18 03:41

DeepSeek R1蒸馏版模型部署的实战教程

大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。

herosunly·2025-02-18 03:09

hunyuan-DiT模型部署指南

1.部署ComfyUI本篇的模型部署是在ComfyUI的基础上进行，如果没有部署过ComfyUI，请按照下面流程先进行部署，如已安装

算家云·2025-02-17 05:12

推荐频道