Serving

TensorFlow Serving学习笔记3: 组件调用关系

一、整体架构TensorFlowServing采用模块化设计，核心组件包括：Servables：可服务对象（如模型、查找表）Managers：管理Servable生命周期（加载/卸载）Loaders：负责

·2025-06-28 11:51

如何在 CloudMatrix 384 超节点上部署 DeepSeek 大模型：业界首次公开非英伟达体系下解决此类技术难题的论文

本文基于华为团队与硅基流动（SiliconFlow）联合署名的论文《ServingLargeLanguageModelsonHuaweiCloudMatrix384》的简要解说与技术分析文章，深入剖析了

猫头虎·2025-06-25 23:38

TensorFlow Serving学习笔记2: 模型服务

本文深入剖析TensorFlowServing的核心架构与实现机制，结合源码分析揭示其如何实现高可用、动态更新的生产级模型服务。

Jay Kay·2025-06-20 14:07

生产级模型部署实战：TensorFlow Serving与Docker深度整合指南（十五）

一、生产部署的核心挑战与解决方案1.1生产环境的严苛要求在机器学习工程化实践中，模型部署是将算法能力转化为业务价值的关键步骤。生产级部署需要满足四大核心指标：高并发处理能力：支持每秒数千次推理请求（QPS>1000）低延迟响应：平均响应时间（P99）控制在100ms以内动态模型更新：支持模型热替换，服务不中断资源隔离与扩展：基于负载动态伸缩资源，CPU/内存利用率可控1.2TensorFlowSe

WHCIS·2025-06-19 01:13

以前在服务器启动了docker，现在不需要了，为了安全，去掉docker服务@Ubuntu

以前在服务器启动了docker，docker里面运行了paddleserving服务器：在docker中安装paddleserving@FreeBSD（待续）_pkg-configisrequiredforbuildingpyav-CSDN

skywalk8163·2025-06-18 06:34

Tensorflow serving学习笔记1: 框架和流程解析

背景梳理tensorflowserving的项目主要模块及其功能梳理tensorflowserving的请求调用链路和生命周期主要模块及其功能apis/包含服务API定义和接口规范定义了模型服务的gRPC

·2025-06-02 17:08

如何在Ubuntu 18.04上使用弹性堆栈分析托管Redis数据库统计信息

Databasemonitoringisthecontinuousprocessofsystematicallytrackingvariousmetricsthatshowhowthedatabaseisperforming.Byobservingperformancedata

cukw6666·2025-05-30 23:28

TensorFlow Extended (TFX) 生产环境模型版本控制与回滚实战指南

TFX通过以下组件构建完整的模型生命周期管理系统：MLMetadata(MLMD)：记录所有实验和管道的元数据Pusher组件：负责模型部署与版本标记ModelRegistry：集中式模型存储库（如TFServing

软考和人工智能学堂·2025-05-30 20:33

dockerfile: PaddleOCR hubserving api 服务

前言目前OCR有比较成熟的方案，想着直接通过docker部署一个提供api接口服务，查看了一些开源方案，最终发现还是PaddleOCR比较好用。本篇不介绍PaddleOCR的详细使用方式，只介绍一下构建镜像的dockerfile需要注意的事项。docker镜像构建目录结构-inference_models(下载好的模型放这里，可以直接在dockerfile中下载)-PaddleOCR(git仓库，

Grassto·2025-05-30 17:41

ICLR2024论文解读|DP-OPT: MAKE LARGE LANGUAGE MODEL YOUR PRIVACY-PRESERVING PROMPT ENGINEER差分隐私离线提示微调

论文标题DP-OPT:MAKELARGELANGUAGEMODELYOURPRIVACY-PRESERVINGPROMPTENGINEER差分隐私离线提示微调：让大型语言模型成为你的隐私保护提示工程师论文链接

paixiaoxin·2025-05-13 21:34

serve-favicon 项目教程

serve-favicon项目教程serve-faviconfaviconservingmiddleware项目地址:https://gitcode.com/gh_mirrors/se/serve-favicon

翁然眉Esmond·2025-05-09 21:34

ϵ-prediction和z0-prediction是什么意思

在这篇CVPR2025论文《Detail-PreservingLatentDiffusionforStableShadowRemoval》中，ϵ-prediction和z₀-prediction是指扩散模型

hwg985·2025-05-09 13:40

（CVPR25）Detail-Preserving Latent Diffusion for Stable Shadow Removal论文阅读

文章目录先验（Prior）是什么？1.先验的数学定义2.先验在深度生成模型中的角色3.为什么需要先验？4.先验的常见类型5.如何选择或构造先验？6.小结先验（Prior）是什么？在概率统计与机器学习（尤其是贝叶斯方法）中，“先验”通常指先验分布（priordistribution）——在看到数据之前，我们对某个随机变量（参数、潜变量、预测结果等）所持有的信念或假设，用概率分布来刻画。1.先验的数学

hwg985·2025-05-09 04:43

HTML`picture`标签

Youusepicturewheninsteadofjustservingas

cuk0051·2025-05-07 04:45

PaddleOCR服务端部署实践

PaddleOCR服务端部署有两个方案：1、基于PaddleHubServing的部署：代码路径“.

来了就走下去·2025-05-03 04:21

C++ pdserving 部署推理模型遇到的各种坑，看这一篇就够了！！！

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档C++pdserving部署推理模型遇到的各种坑，通过这篇文章可以成功部署ppocrv3和ppocrv4版本，CPU和GPU版本，TensorRT

allen_hai·2025-05-03 04:20

《Keras 3 ：使用 TFServing 提供 TensorFlow 模型》

《Keras3：使用TFServing提供TensorFlow模型》作者：DimitreOliveira创建日期：2023/01/02最后修改时间：2023/01/02描述：如何使用TensorFlowServing

空云风语·2025-04-26 17:38

【Paper Reading】结合 NanoFlow 研究，优化大语言模型服务效率的探索

论文《NanoFlow：TowardsOptimalLargeLanguageModelServingThroughput》提出了一种突破性的新型服务框架，旨在提高大语言模型在实际应用中的服务吞吐量。

egzosn·2025-04-06 20:36

《Python实战进阶》第39集：模型部署——TensorFlow Serving 与 ONNX

第39集：模型部署——TensorFlowServing与ONNX摘要在机器学习项目中，训练好的模型需要被部署到生产环境中才能发挥实际价值。

带娃的IT创业者·2025-03-31 10:39

模型部署全流程：SavedModel、TFLite、TF.js、ONNX 的导出与实战

从训练到导出，用户可根据目标平台灵活选择格式，部署到：服务端（TFServing/TensorRT）移动端（TensorFlowLite）浏览器端（TensorFlow.js）多框架跨平台（ONNX）本章我们将覆盖四大部署格式

AI筑梦师·2025-03-25 00:44

vLLM 部署大模型

哦豁灬·2025-03-23 05:07

云原生Serverless平台：无服务器计算的架构革命

KnativeServing实现秒级自动扩缩至零，Vercel边缘函数网络响应时间跌破50ms。

桂月二二·2025-03-11 16:01

tensorflow Serving架构详解和代码示例

本文介绍tensorflowServing的原理和代码实现,并提供简要的代码阅读指导.如何serve一个模型具体的步骤可以参考官方文档.主要包括两个部分：1.导出模型1.启动服务需要说明的是导出模型部分

lloyd_chou·2025-03-05 03:44

OpenCV计算摄影学（14）实现对比度保留去色（Contrast Preserving Decolorization）的函数decolor()

cv::decolor是OpenCV中用于实现对比度保留去色（ContrastPreservingDecolorization）的一个函数。此函数可以将输入的彩色

村北头的码农·2025-03-04 17:54

详细介绍人工智能学习框架

核心框架介绍、学习方法三个维度展开详解：一、主流人工智能框架全景图（一）基础框架层TensorFlow（Google）核心优势：工业级部署能力，支持移动端（TFLite）、浏览器（TF.js）、服务器（TFServing

日记成书·2025-02-26 08:16

Docker安装分布式vLLM

分布式安装方法https://docs.vllm.ai/en/latest/serving/distributed_serving.html2安装方法⚠️注意：前期一定要把docker环境、运行时和GPU

MasonYyp·2025-02-18 13:49

Mooncake：kimi后端推理服务的架构设计

前言本文依托论文《Mooncake:AKVCache-centricDisaggregatedArchitectureforLLMServing》来讲解kimi的后端服务架构Mooncake，并按照自己的思路来梳理论文中的一些关键信息

风生水气·2025-02-17 00:03

python Web 开发 Flask 介绍_python flask web开发

打开终端，跳转到`hello.py`文件所在的文件夹，进入python命令行模式，启动服务pythonhello.py如果一起正常的话会有类似下面的反馈ServingFlaskapp“hello”(lazyloading

2401_86391875·2025-02-14 05:33

大数据Lambda 架构和Kappa 架构的优缺点和使用场景

Lambda架构Lambda架构分为三个层次：批处理层（BatchLayer）、实时处理层（SpeedLayer）和合并层（ServingLayer）。

胶水代码·2025-02-09 18:15

(25-4-01)基于本地知识库的自动问答系统（LangChain+ChatGLM+ModelScope/Huggingface部署）: 构建和部署对话系统（1）

13.3.4构建和部署对话系统文件jina_serving.py定义了一个名为KnowledgeBasedChatLLM的类，用于初始化模型配置、加载文件、检索问题答案等操作。

码农三叔·2025-02-01 15:02

LoongServe论文解读：prefill/decode分离、弹性并行、零KV Cache迁移

LoongServe论文解读：prefill/decode分离、弹性并行、零KVCache迁移LoongServe:EfficientlyServingLong-contextLargeLanguageModelswithElasticSequenceParallelism

04290629·2025-01-30 18:13

TorchServe环境构建+模型更新+新模型注册

环境搭建2.3启动服务2.3.1注册模型2.3.2模型查看2.3.3接口调用3进阶功能3.1模型多版本管理3.2新模型注册1.背景由于技术路线调整，需求调整原本的模型推理服务——tensorflow-serving

有来有去9527·2025-01-30 04:53

autogen 中的 Teams 示例

目录1.CreatingaTeam2.RunningaTeam3.ObservingaTeam4.ResettingaTeam5.StoppingaTeam6.ResumingaTeam7.AbortingaTeam8

ZHOU_WUYI·2025-01-29 04:52

Pycharm 中的Flask为何设置了debug、host、post不生效

flask代码中已经设置了debug=True（或者port、host这些）debug=True,port=1688,host="0.0.0.0"但是pycharm的运行实际输出还是无法更改相应设置*ServingFlaskapp'app

·2025-01-27 13:01

【Flask】以一种访问权限不允许的方式做了一个访问套接字的尝试。ERROR conda.cli.main_run:execute(49): `conda run python 1.py` fail

index.php')defhello():return"Helloworld"if__name__=='__main__':app.run(host='127.0.0.1',port=80)并给出了如下错误提示：*ServingFlask

HEX9CF·2025-01-25 11:48

SGLang安装教程，部署你的大模型，性能比vllm好，实现张量并行，数据并行，加快推理速度，亲测效果好。

代码：GitHub-sgl-project/sglang:SGLangisafastservingframeworkforlargelanguagemodelsand

张登杰踩·2025-01-23 17:03

Dufs开源Web文件服务器

介绍：Dufs是一个独特的实用文件服务器，支持静态服务，上传，搜索，访问控制，webdav…GitHub-sigoden/dufs:Afileserverthatsupportsstaticserving

爱辉弟啦·2025-01-20 19:16

大模型训练显卡选择

大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能比H100稍高。

kcarly·2025-01-19 07:39

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。本系列讲解的版本也是基于22.06。本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小

u013250861·2024-09-10 03:09

多种model serving 的调研比较

image.pnggithubofficesite框架语言依赖项服务端开发语言客户端调用语言是否支持restful支持算法是否支持hdfs大规模是否支持同时部署多个模型服务是否支持模型切换是否支持模型跟踪是否支持pmmlpredictioniohttps://github.com/apache/predictioniohttp://predictionio.apache.orgscalamysql

Helen_Cat·2024-09-06 18:35

SAFEFL: MPC-friendly Framework for Private and Robust Federated Learning论文阅读笔记

概述传统机器学习（ML）：集中收集数据->隐私保护问题privacy-preservingML(PPML)采

慘綠青年627·2024-09-06 10:44

hong161688·2024-08-29 05:11

TBB中的join节点的Reservation

一、join_node的策略join_node的策略有四种方式，即queueing、reserving、key_matching和tag_matching。

fpcc·2024-08-25 09:11

【DataHub】现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解

ServingArchitecture架构图DataHub服务层的架构图如下：主服务是gms，它提供一套RESTAPI和一套GraphQLAPI，用于对元数据执行CRUD操作元数据服务还提供了搜索和图查询

九层之台起于累土·2024-02-28 08:18

Rust中的模块路径和pub关键字详解

，让我们看一下一个简单的Rust模块示例：modfront_of_house{pubmodhosting{pubfnadd_to_waitlist(){}fnseat_at_table(){}}modserving

好奇的菜鸟·2024-02-20 22:32

81TensorFlow 2 模型部署方法实践--TensorFlow Serving 部署模型

TensorFlowServing部署模型TensorFlowServing是一个针对机器学习模型的灵活、高性能的服务系统，专为生产环境而设计。

Jachin111·2024-02-14 13:25

Verilog刷题笔记5

ABitofPracticeOnecommonplacetoseeareplicationoperatoriswhensign-extendingasmallernumbertoalargerone,whilepreservingitssignedvalue.Thisisdonebyreplicatingthesignbit

十六追梦记·2024-02-13 15:38

本地build部署查看制品

执行build后找到dist文件夹dist文件夹.png进入并打开GitBash输入命令http-serverGitBash.pngStartinguphttp-server,serving.

SonyaBaby·2024-02-12 10:51

s2i ksonnet helm minikube kubectl oc kubeflow docker CLI 串讲

以上工具都是基于docker的虚拟化工具，每个工具都足够让你节省非常多的时间来构建镜像，部署你的应用服务s2i非常简单是一个从源码构建docker镜像的工具，在我们做model-serving在使用s2i

Helen_Cat·2024-02-12 01:13

OC底层原理18 - KVO

简介KVO，全称为Key-Valueobserving，中文名为键值观察，KVO是一种机制，它允许将其他对象的指定属性的更改通知给对象。

卡布奇诺_95d2·2024-02-09 04:50

推荐频道