serving模型部署

DeepSeek使用中的问题及解决方案（部分）

1.模型部署与配置问题问题1：环境依赖冲突现象：安装模型依赖库时出现版本不兼容（如Python、PyTorch版本冲突）。解决方案：使用虚拟环境（如conda或venv）隔离依赖。
WeiLai1112·2025-02-20 07:17

HarmonyOS Next轻量化模型的部署与优化

本文旨在深入探讨华为鸿蒙HarmonyOSNext系统（截止目前API12）中轻量化模型部署与优化相关技术细节，基于实际开发实践进行总结。
·2025-02-18 22:36

Docker安装分布式vLLM

分布式安装方法https://docs.vllm.ai/en/latest/serving/distributed_serving.html2安装方法⚠️注意：前期一定要把docker环境、运行时和GPU
MasonYyp·2025-02-18 13:49

腾讯云目前支持4种DeepSeek开源大模型部署方案

欢迎交流#deepseek腾讯云目前支持4种DeepSeek开源大模型部署方案1、面向开发者开箱即用的HAI方式1）参考：https://mp.weixin.qq.com/s/kZLPfXv3b1sxLSwyRVsEsg2
szqcloud·2025-02-18 03:41

DeepSeek R1蒸馏版模型部署的实战教程

  大家好，我是herosunly。985院校硕士毕业，现担任算法研究员一职，热衷于大模型算法的研究与应用。曾担任百度千帆大模型比赛、BPAA算法大赛评委，编写微软OpenAI考试认证指导手册。曾获得阿里云天池比赛第一名，CCF比赛第二名，科大讯飞比赛第三名。授权多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的学生进入到算法行业就业。希望和大家一起成长进步。  
herosunly·2025-02-18 03:09

hunyuan-DiT模型部署指南

1.部署ComfyUI本篇的模型部署是在ComfyUI的基础上进行，如果没有部署过ComfyUI，请按照下面流程先进行部署，如已安装
算家云·2025-02-17 05:12

Mooncake：kimi后端推理服务的架构设计

前言本文依托论文《Mooncake:AKVCache-centricDisaggregatedArchitectureforLLMServing》来讲解kimi的后端服务架构Mooncake，并按照自己的思路来梳理论文中的一些关键信息
风生水气·2025-02-17 00:03

解决Deepseek服务器繁忙的两种高效方案：本地部署与平替平台实测

方案一：本地化部署核心优势说白了就是模型部署在自己本地，只有自己一个人用了没人挤了，但是对电脑硬件要求高部署步骤详解环境准备系统要求：Linux/Windows10+（推荐Ubuntu20.04）硬件配置
小真—·2025-02-16 18:52

《DeepSeek Janus Pro 7B：多模态人工智能大模型部署全攻略》

《DeepSeekJanusPro7B：多模态人工智能大模型部署全攻略》引言：开启多模态AI新世界在科技飞速发展的当下，多模态AI已成为人工智能领域中最耀眼的明星，正以前所未有的速度改变着我们的生活与工作方式
空云风语·2025-02-16 03:57

数据驱动的DevOps,MLOps工具链初现端倪

DevOps,MLOps,数据驱动,工具链,自动化,持续交付,模型部署,模型监控1.背景介绍在当今以数据为中心的时代，软件开发和机器学习模型的部署和维护日益复杂。
AI架构设计之禅·2025-02-16 03:53

python Web 开发 Flask 介绍_python flask web开发

打开终端，跳转到`hello.py`文件所在的文件夹，进入python命令行模式，启动服务pythonhello.py如果一起正常的话会有类似下面的反馈ServingFlaskapp“hello”(lazyloading
2401_86391875·2025-02-14 05:33

模型应用管理的成功之道：策略、工具与团队协作

2.模型部署●
·2025-02-13 11:28

Deep Seek大模型部署到本地 详细教程

以下是将DeepSeek大模型部署到本地开发环境的详细教程，分为多个步骤，包含技术细节和注意事项：步骤1：环境准备硬件要求GPU：推荐NVIDIAGPU（至少16GB显存，如RTX3090/4090或A100
Katie。·2025-02-12 11:40

昇腾，Ascend，NPU，mindie，镜像，部署vllm：第4篇，尝试多模态大模型部署（Qwen2-vl）

文章目录前言下载模型前言一直想部署一个多模态大模型，今天就以Qwen2-vl为例尝试一番吧。（当然是在昇腾环境下）提示：需要把这篇文章先看一遍昇腾，mindie，镜像，部署vllm：第2篇，启动mindieservice_daemon服务，支持对Qwen2.5的7B版本的推理提示：本文章的撰写思路是，按照一个思路进行部署，报错，并反思，并解决。所以不太适合直接上来就跟着一步一步做。建议看完全文，再
几道之旅·2025-02-12 10:36

【大模型部署及其应用 】Ollama搭建运行中文大语音模型Llama3-8B-Chinese-Chat

Ollama是一种用于运行大语言模型（如LLaMA）的平台，适合本地化部署和运行。以下是如何在Ollama上搭建和运行中文大语言模型Llama3-8B-Chinese-Chat的步骤：下载地址：https://huggingface.co/shenzhi-wang/Llama3-8B-Chinese-Chat-GGUF-8bit项目地址：https://github.com/ymcui/Chine
源代码杀手·2025-02-11 18:34

人工智能在制造业的具体应用案例-总纲

实时预测：将模型部署到C
局外人_Jia·2025-02-11 09:05

2025年Python领域最新国际动态与技术趋势解析（截至2025年2月）

一、AI与Python的深度融合：从模型部署到开发工具OpenAI与谷歌的模型竞赛OpenAI近期推出的免费推理模型o3-mini在数学代码生成和物理模拟领域表现突出，尤其在Python生态中，开发者可通过
虫洞没有虫·2025-02-11 08:57

大数据Lambda 架构和Kappa 架构的优缺点和使用场景

Lambda架构Lambda架构分为三个层次：批处理层（BatchLayer）、实时处理层（SpeedLayer）和合并层（ServingLayer）。
胶水代码·2025-02-09 18:15

大数据集群Spark-on-Yarn+Paddle深度学习模型部署

背景：因数据量较大，想要将模型部署到大数据集群上进行计算。
jqtree·2025-02-08 19:32

本地部署DeepSeek-R1模型用于企业生产环境：基于Xinference

而非Ollama如何安装和配置Xinference如何下载DeepSeek-R1-Distill-Qwen-7B模型如何在Xinference中运行DeepSeek-R1-Distill-Qwen-7B模型部署成功后
MaxCode-1·2025-02-08 06:50

大模型实战篇之Deepseek二、一键部署DeepSeek-V3和DeepSeek-R1模型

然而，传统的模型部署流程往往复杂且耗时。今天，我们将详细介绍如何在阿里云PAIModelGallery上通过零代码的方式一键部署DeepSeek-V3和De
伯牙碎琴·2025-02-07 19:44

Java 大数据模型部署与运维：生产环境的挑战与应对（43）

亲爱的朋友们，热烈欢迎你们来到青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。我真诚地期待着你们的到来，愿我们能在这片小小的天地里共同成长，共同进步。一、本博客的精华专栏：
青云交·2025-02-06 18:57

开源数据分析工具 RapidMiner

以下是对RapidMiner的深度介绍：1.概述RapidMiner是一款开源且全面的端到端数据科学平台，支持从数据准备、机器学习、预测分析到模型部署的整个工作流程。
kcarly·2025-02-06 08:21

使用Ollama本地化部署DeepSeek

1、Ollama简介Ollama是一个开源的本地化大模型部署工具，旨在简化大型语言模型（LLM）的安装、运行和管理。
·2025-02-05 02:15

LLM大模型部署实战指南：部署简化流程

LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发1.Ollama部署的本地模型()Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型
汀、人工智能·2025-02-04 13:00

深度学习框架PyTorch原理与实践

作者：禅与计算机程序设计艺术文章目录1.简介2.背景介绍3.基本概念和术语3.1PyTorch简介3.2PyTorch的特点1）自动求导机制2）GPU加速3）模型部署4）数据管道5）代码阅读友好4.核心算法原理
AI天才研究院·2025-02-04 07:47

AI大模型部署：Ollama与vLLM部署对比：哪个更合适？

前言近年来，大语言模型（LLM）的应用日益广泛，而高效的部署方案至关重要。Ollama和vLLM作为两种流行的LLM部署工具，各有优劣。本文将深入比较Ollama和vLLM的部署方式，帮助选择最合适的方案。Ollama：简单易用的LLM部署工具Ollama以其简洁的安装和易于使用的特性而闻名。其官方文档清晰易懂，即使是新手也能快速上手。Ollama支持多种LLM模型，并提供便捷的命令行界面进行管理
大模型部署·2025-02-02 21:11

DeepSeek R1 Ollama本地化部署全攻略：三步实现企业级私有化大模型部署

前言Ollama作为当前最受欢迎的本地大模型运行框架，为DeepSeekR1的私有化部署提供了便捷高效的解决方案。本文将深入讲解如何将HuggingFace格式的DeepSeekR1模型转换为Ollama支持的GGUF格式，并实现企业级的高可用部署方案。文章包含完整的量化配置、API服务集成和性能优化技巧。—一、基础环境搭建1.1系统环境要求操作系统：Ubuntu22.04LTS或CentOS8+
Coderabo·2025-02-02 00:45

使用Ollama本地化部署DeepSeek

1、Ollama简介Ollama是一个开源的本地化大模型部署工具，旨在简化大型语言模型（LLM）的安装、运行和管理。
·2025-02-01 16:48

(25-4-01)基于本地知识库的自动问答系统（LangChain+ChatGLM+ModelScope/Huggingface部署）: 构建和部署对话系统（1）

13.3.4构建和部署对话系统文件jina_serving.py定义了一个名为KnowledgeBasedChatLLM的类，用于初始化模型配置、加载文件、检索问题答案等操作。
码农三叔·2025-02-01 15:02

书生浦语第五期

基础作业完成以下任务，并将实现过程记录截图：配置lmdeploy运行环境下载internlm-chat-1.8b模型以命令行方式与模型对话视频链接文档链接基础知识学习模型部署在软件工程中，部署通常指的是将开发完毕的软件投入使用的过程
晴斋1216·2025-01-31 06:27

LLM模型部署经验分享

LLM模型部署经验分享作者：大连理工大学李凯首先，你需要选择一个合适的部署平台，这可以是本地服务器、云服务提供商（如AWS、Azure、GoogleCloud等）、边缘设备或者特定的部署服务（如HuggingFaceHub
lewis_kai·2025-01-31 06:56

LoongServe论文解读：prefill/decode分离、弹性并行、零KV Cache迁移

LoongServe论文解读：prefill/decode分离、弹性并行、零KVCache迁移LoongServe:EfficientlyServingLong-contextLargeLanguageModelswithElasticSequenceParallelism
04290629·2025-01-30 18:13

Torchserve服务开发

handler开发1.1.1.context参数1.1.2.data参数1.2.handler调试2.配置文件3.batch推理0.Torchserve介绍0.1.背景TorchServe是PyTorch中推荐的模型部署解决方案
qq_27844739·2025-01-30 04:26

TorchServe环境构建+模型更新+新模型注册

环境搭建2.3启动服务2.3.1注册模型2.3.2模型查看2.3.3接口调用3进阶功能3.1模型多版本管理3.2新模型注册1.背景由于技术路线调整，需求调整原本的模型推理服务——tensorflow-serving
有来有去9527·2025-01-30 04:53

大模型部署工具 llama.cpp 介绍与安装使用

1.大模型部署工具llama.cpp大模型的研究分为训练和推理两个部分。训练的过程，实际上就是在寻找模型参数，使得模型的损失函数最小化，推理结果最优化的过程。
大模型柳儿·2025-01-29 18:03

autogen 中的 Teams 示例

目录1.CreatingaTeam2.RunningaTeam3.ObservingaTeam4.ResettingaTeam5.StoppingaTeam6.ResumingaTeam7.AbortingaTeam8
ZHOU_WUYI·2025-01-29 04:52

LLM架构与优化：从理论到实践的关键技术

架构与优化：从理论到实践的关键技术”文章信息摘要：文章探讨了大型语言模型（LLM）开发与应用中的关键技术，包括Transformer架构、注意力机制、采样技术、Tokenization等基础理论，以及模型部署
XianxinMao·2025-01-28 20:14

Pycharm 中的Flask为何设置了debug、host、post不生效

flask代码中已经设置了debug=True（或者port、host这些）debug=True,port=1688,host="0.0.0.0"但是pycharm的运行实际输出还是无法更改相应设置*ServingFlaskapp'app
·2025-01-27 13:01

【Flask】以一种访问权限不允许的方式做了一个访问套接字的尝试。ERROR conda.cli.main_run:execute(49): `conda run python 1.py` fail

index.php')defhello():return"Helloworld"if__name__=='__main__':app.run(host='127.0.0.1',port=80)并给出了如下错误提示：*ServingFlask
HEX9CF·2025-01-25 11:48

InternLM: LMDeploy 量化部署进阶实践

LMDeploy部署模型模型部署是将训练好的深度学习模型在特定环境中运行。欢迎使用LMDeploy，支持市面上主流的格式和算法。
dilvx·2025-01-25 06:42

SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。

目前大模型部署工具主要是vllm，最近出现了SGLang，很多新开源大模型都支持SGLang的部署推理，例如deepseek-R1，Qwen2.5，Mistral，GLM-4，MiniCPM3，InternLM2
张登杰踩·2025-01-23 17:03

LLM大模型部署实战指南：部署简化流程

LLM大模型部署实战指南：Ollama简化流程，OpenLLM灵活部署，LocalAI本地优化，Dify赋能应用开发1.Ollama部署的本地模型()Ollama是一个开源框架，专为在本地机器上便捷部署和运行大型语言模型
汀、人工智能·2025-01-23 05:28

YOLOv11目标检测模型部署到微信小程序上

1.效果YOLOv11目标检测模型部署到微信小程序上2.后端主要代码importosimporttimeimportnumpyasnpimporttorchfromflaskimportFlask,request
小阿技术·2025-01-23 00:17

深度学习模型开发文档

2.深度学习模型开发流程3.数据准备3.1数据加载3.2数据可视化4.构建卷积神经网络(CNN)5.模型训练5.1定义损失函数和优化器5.2训练过程6.模型评估与优化6.1模型评估6.2超参数调优7.模型部署
Ares代码行者·2025-01-22 20:47

清华和哈工大把大模型量化做到了1比特，把世界顶尖多模态大模型开源大模型量化个人电脑运行！机器人领域首个开源视觉-语言操作大模型，激发开源VLMs更大潜能，视 Mamba速度提升2.8倍，内存能省87%

在追求更高效的机器学习模型部署时，模型量化技术应运而生，它通过降低权重矩阵的位宽来显著减少大型语言模型的存储和计算需求。我们一般的双精度浮点型double是64位
代码讲故事·2025-01-22 05:45

模型部署工具01：Docker || 用Docker打包模型 Build Once Run Anywhere

Docker是一个开源的容器化平台，可以让开发者和运维人员轻松构建、发布和运行应用程序。Docker的核心概念是通过容器技术隔离应用及其依赖项，使得软件在不同的环境中运行时具有一致性。无论是开发环境、测试环境，还是生产环境，Docker都能够提供高效、可靠的解决方案。在本教程中，我们将详细介绍Docker的核心概念、安装方法，以及如何使用Docker进行容器化操作。Docker是什么？为什么值得学
Tiandaren·2025-01-22 03:05

基于 Python 的机器学习模型部署到 Flask Web 应用：从训练到部署的完整指南

目录引言技术栈步骤一：数据预处理步骤二：训练机器学习模型步骤三：创建FlaskWeb应用步骤四：测试Web应用步骤五：模型的保存与加载保存模型加载模型并在Flask中使用步骤六：Web应用的安全性考量示例：简单的输入验证示例：自定义错误处理示例：使用Flask-JWT-Extended进行认证结论参考资料引言在当今数据驱动的时代，机器学习模型已经广泛应用于各行各业，从金融、医疗到教育等领域。然而，
m0_74825223·2025-01-21 15:53

大模型推理：vllm多机多卡分布式本地部署

文章目录1、vLLM分布式部署docker镜像构建通信环境配置2、其他大模型部署工具3、问题记录参考文献单台机器GPU资源不足以执行推理任务时，一个方法是模型蒸馏量化，结果就是会牺牲些效果。
m0_74824755·2025-01-21 08:20

深度学习笔记——模型部署

本文简要概括模型部署的知识点，包括步骤和部署方式。
好评笔记·2025-01-21 04:11
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他