Serving

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

triton作为一个NVIDIA开源的商用级别的服务框架，个人认为很好用而且很稳定，API接口的变化也不大，我从2020年的20.06切换到2022年的22.06，两个大版本切换，一些涉及到代码的工程变动很少，稍微修改修改就可以直接复用，很方便。本系列讲解的版本也是基于22.06。本系列讲解重点是结合实际的应用场景以及源码分析，以及写一些triton周边的插件、集成等。非速成，适合同样喜欢深入的小

u013250861·2024-09-10 03:09

多种model serving 的调研比较

image.pnggithubofficesite框架语言依赖项服务端开发语言客户端调用语言是否支持restful支持算法是否支持hdfs大规模是否支持同时部署多个模型服务是否支持模型切换是否支持模型跟踪是否支持pmmlpredictioniohttps://github.com/apache/predictioniohttp://predictionio.apache.orgscalamysql

Helen_Cat·2024-09-06 18:35

SAFEFL: MPC-friendly Framework for Private and Robust Federated Learning论文阅读笔记

概述传统机器学习（ML）：集中收集数据->隐私保护问题privacy-preservingML(PPML)采

慘綠青年627·2024-09-06 10:44

hong161688·2024-08-29 05:11

TBB中的join节点的Reservation

一、join_node的策略join_node的策略有四种方式，即queueing、reserving、key_matching和tag_matching。

fpcc·2024-08-25 09:11

【DataHub】现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解

ServingArchitecture架构图DataHub服务层的架构图如下：主服务是gms，它提供一套RESTAPI和一套GraphQLAPI，用于对元数据执行CRUD操作元数据服务还提供了搜索和图查询

九层之台起于累土·2024-02-28 08:18

Rust中的模块路径和pub关键字详解

，让我们看一下一个简单的Rust模块示例：modfront_of_house{pubmodhosting{pubfnadd_to_waitlist(){}fnseat_at_table(){}}modserving

好奇的菜鸟·2024-02-20 22:32

81TensorFlow 2 模型部署方法实践--TensorFlow Serving 部署模型

TensorFlowServing部署模型TensorFlowServing是一个针对机器学习模型的灵活、高性能的服务系统，专为生产环境而设计。

Jachin111·2024-02-14 13:25

Verilog刷题笔记5

ABitofPracticeOnecommonplacetoseeareplicationoperatoriswhensign-extendingasmallernumbertoalargerone,whilepreservingitssignedvalue.Thisisdonebyreplicatingthesignbit

十六追梦记·2024-02-13 15:38

本地build部署查看制品

执行build后找到dist文件夹dist文件夹.png进入并打开GitBash输入命令http-serverGitBash.pngStartinguphttp-server,serving.

SonyaBaby·2024-02-12 10:51

s2i ksonnet helm minikube kubectl oc kubeflow docker CLI 串讲

以上工具都是基于docker的虚拟化工具，每个工具都足够让你节省非常多的时间来构建镜像，部署你的应用服务s2i非常简单是一个从源码构建docker镜像的工具，在我们做model-serving在使用s2i

Helen_Cat·2024-02-12 01:13

OC底层原理18 - KVO

简介KVO，全称为Key-Valueobserving，中文名为键值观察，KVO是一种机制，它允许将其他对象的指定属性的更改通知给对象。

卡布奇诺_95d2·2024-02-09 04:50

Fate-Serving推理服务源码解读

https://fate-serving.readthedocs.io/en/develop/?

SakamataZ·2024-02-08 22:20

secretflow推理服务源码解读

secretflow-serving（https://github.com/secretflow/serving）是隐语提供的一套aby3的推理服务，代码量只有clickhouse的百分之一（一万行不到

SakamataZ·2024-02-08 22:20

【推荐算法】userid是否建模

推荐算法user_id在train和serving时应该怎么用？

sdbhewfoqi·2024-02-06 19:24

【缩略图保持的图像加密隐私保护学习，TPE】

如何生成可参考右边的帮助文档缩略图保持的图像加密隐私保护学习，TPE前言一、TPE加密研究背景及意义二、预备知识三、现有缩略图方案概览四、文献[1]的主要思想五、文献[2]的主要思想六、展望前言最近研究了一下缩略图加密，thumbnail-preservingencryption

元气女·2024-02-06 19:52

ALOS 30mDEM数据显示

ALOS30米DEM数据由高级陆地观测卫星ALOS（AdvancedLandObservingSatellite）上搭载的全色遥感立体测绘仪PRISM（PanchromaticRemote-sensingInstrumentforStereoMapping

按图索迹·2024-02-05 16:29

MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets（AAAI20）

MarioNETteArchitectureFig.2展示了MarioNETte的框架图给定driverimagex\mathbf{x}x，一组targetimages{yi}i=1⋯K\left\{\mathbf{y}^i\right\}_{i=1\cdotsK}{yi}i=1⋯K，整个framework输出一幅Reenactedimage注意：driverx\mathbf{x}x是一帧图像，t

o0Helloworld0o·2024-02-05 10:27

（阅读笔记）SecureML: A System for Scalable Privacy-Preserving Machine Learning

SecureML动机基础知识SecureML文章总结动机用户（例如物联网设备）计算、电池资源受限，选择外包数据给云或边缘执行密集型计算；用户数据包含隐私信息，数据控制权的转移意味着数据隐私泄露风险；选择加密原语处理数据后上传，实现密文计算（网络推理或训练）是重要挑战。基础知识线性回归模型，值连续，损失函数多选择最小欧式距离计算；逻辑回归模型，二分类任务，值离散，损失函数多选择交叉熵计算；神经网络模

你看见的我·2024-02-05 10:27

论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning

论文学习笔记POSEIDON:Privacy-PreservingFederatedNeuralNetworkLearningNDSS2021录用文章目录论文学习笔记POSEIDON:Privacy-PreservingFederatedNeuralNetworkLearning

JiangChSo·2024-02-05 10:55

InstantID: Zero-shot Identity-Preserving Generation in Seconds

文章目录IntroductionMainReference记录由国内首创的一个好玩的小项目，图像生成领域的新进展。但我希望现阶段计算机视觉领域的研究能更聚焦在语义分割和三维视觉上，这样能更方便与机器人等产品和工业实体结合。IntroductionInstantID是一个基于扩散模型的图像生成解决方案，能实现从单一参考图像到多样化风格化写真的快速生成。用户只需上传一张自拍，20秒就能得到定制版AI写

猛码Memmat·2024-02-05 10:54

最新论文笔记(+21)：Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems/ TIFS2022

Privacy-PreservingByzantine-RobustFederatedLearningviaBlockchainSystems可译为“利用区块链实现隐私保护的拜占庭鲁棒性联邦学习”这篇是今年八月份被

cryptocxf·2024-02-05 10:24

【论文阅读笔记】InstantID : Zero-shot Identity-Preserving Generation in Seconds

秒级零样本身份保持生成理解摘要Introduction贡献RelatedWorkText-to-imageDiffusionModelsSubject-drivenImageGenerationIDPreservingImageGenerationMethod

LuH1124·2024-02-05 10:53

oracle auto failover,dg设置auto failover

Fast-StartFailoverEnablingfast-startfailoverdoesnottriggerafailover.Instead,itallowstheobservertobeginobservingtheprimaryandstandbydatabasesandinitiateafast-startfailove

何天啸·2024-02-05 06:39

Observing People 1

人们说的话和说话的方式(有时候他们省略了什么)会成为他们隐含观点态度的重要线索。如果注意到了这些线索，我们就可以判定哪些方面对于说话人而言是敏感的、他们对哪些方面理解薄弱以及与他们交流的最有成效方法是什么。人们在听他人讲话时会给出一些信号来表示赞同或者反对说话人所讲。偶尔的点头、鼓励性的微笑，甚至低声说"嗯"，这些都表示出了"我同意你所说的"。而轻微地摇头、眉毛的上扬、眼睛上翻时的噘嘴或者皱眉，这

sxrunn·2024-02-05 04:24

2022-06-07

Inthecourseofitslonghistory,Englishhasmixedtogethernewwordsfrommanydifferentsourceswithoutworringtoomuchaboutpreservingthepurityofthelanguage

许七安fq·2024-02-03 17:17

An End-to-End Learning-Based Metadata Management Approach for Distributed File Systems——论文阅读

TC2022Paper，元数据论文阅读汇总“multiplemetadataserver(MDS)”多个元数据服务器“localitypreservinghashing(LPH)”局部保持哈希“MultipleSubsetSumProblem

妙BOOK言·2024-02-02 18:57

python报错解决：ModuleNotFoundError: No module named ‘http.server‘； ‘http‘ is not a package

8000Handler=http.server.SimpleHTTPRequestHandlerwithsocketserver.TCPServer(("",PORT),Handler)ashttpd:print("servingatport

Irving.Gao·2024-02-02 06:14

扇贝阅读-提倡公筷，你支持吗

截图自扇贝阅读servingspoonsandchopsticks：公筷公勺proposal：n.提议，建议；求婚[网络]建议；提案[专业]建议[经济学]；构想[法学]；方案[计算机科学技术]Hospitality

ss的专属赫兹·2024-01-30 09:12

大模型训练为什么用A100？

先说结论，大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能比H100稍高。4090如果极致优化，性价比甚至可以达到H100的2倍。

深度学习技术前沿·2024-01-27 09:43

图像分割的tf-serving

记录一下使用tensorflow-serving部署图像分割的过程一、将h5权重文件转成saved_model可以部署的模型changeH5tosavedModel.pyimporttensorflowastffromnets.unetimportUnetasunetif

吴天德少侠·2024-01-27 08:18

分布式因果推断在美团履约平台的探索与实践

1.业务背景2.分布式因果森林框架2.1技术选型与框架设计2.2性能优化2.3Serving实现3.分

美团技术团队·2024-01-27 07:19

iOS Objective-C KVO 常见用法

iOSObjective-CKVO常见用法前言KVO即Key-ValueObserving是苹果提供给开发者的一套键值观察的API，在我们日常开发中经常用到KVO进行属性的观察，接下来我们将通过该篇文章对

just东东·2024-01-27 06:40

Beijing 2022: life inside the Winter Olympics Bubble

Robotsservingdrinks,temperature-controlledsleeppodsanddisinfectanteverywhere.ThesearetheeverydayscenesthatOlympicathletes

vivian_dda9·2024-01-24 09:43

在麒麟系统（arm）下Anaconda虚拟环境安装TensorFlow和tensorflow-serving

在ARM64平台下Anaconda虚拟环境安装TensorFlow和tensorflow-serving环境：python：3.7.1（root）tensorflow:2.0.0（tf2）pandas:

流浪者0123·2024-01-24 06:53

【图像拼接】论文精读：Ratio-Preserving Half-Cylindrical Warps for Natural Image Stitching

第一次来请先看这篇文章：【图像拼接（ImageStitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用说明、创新思路分享等（不定期更新）图像拼接系列相关论文精读SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImag

十小大·2024-01-23 18:22

【图像拼接】论文精读：Geometric Structure Preserving Warp for Natural Image Stitching（GES-GSP）

SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImageStitchingShape-PreservingHalf-ProjectiveWarpsforImageStitchingSeam-DrivenIma

十小大·2024-01-23 18:51

【图像拼接】论文精读：Content-Preserving Warps for 3D Video Stabilization（CPW）

第一次来请先看这篇文章：【图像拼接（ImageStitching）】关于【图像拼接论文精读】专栏的相关说明，包含专栏使用说明、创新思路分享等（不定期更新）图像拼接系列相关论文精读SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImag

十小大·2024-01-23 18:51

【图像拼接】论文精读：Dual-Feature Warping-based Motion Model Estimation（DFW）

SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImageStitchingShape-PreservingHalf-ProjectiveWarpsforImageStitchingSeam-DrivenIma

十小大·2024-01-23 18:50

【图像拼接论文精读】Shape-optimizing hybrid warping for image stitching

SeamCarvingforContent-AwareImageResizingAs-Rigid-As-PossibleShapeManipulationAdaptiveAs-Natural-As-PossibleImageStitchingShape-PreservingHalf-ProjectiveWarpsforImageStitchingSeam-DrivenIma

十小大·2024-01-23 18:20

Training and Serving System of Foundation Models: A Comprehensive Survey

论文题目：TrainingandServingSystemofFoundationModels:AComprehensiveSurvey论文地址：https://arxiv.org/pdf/2401.02643

陈超帅·2024-01-22 10:01

17、KVO 原理分析

KVO全称：Key-Valueobserving，键值观察，KVO是一种机制，它允许将其他对象的指定属性的更改通知给对象在日常生活中，经常使用KVO来监听对象属性的变化，并及时做出响应，即当指定的被观察的对象的属性被修改后

ChenL·2024-01-21 07:33

联邦学习论文阅读：Federated collaborative filtering

thormas1996·2024-01-19 07:12

《经济学人》研读笔记

.发蒙；感到眩晕Wewerereeling(inamazement/shock/delight,etc.)from/withthenewsthatwehadwonallthatmoney.（2）preservingmanylegalande

劈柴捌哥·2024-01-19 06:25

大模型训练为什么用A100不用4090

先说结论，大模型的训练用4090是不行的，但推理（inference/serving）用4090不仅可行，在性价比上还能跟H100打个平手。

技术人生黄勇·2024-01-18 20:30

windows编译TensorFlowServing

概述整个编译打包过程的总体思路，是参照在linux下的编译流程，配置环境，执行编译命令，根据编译器/链接器反馈的错误，修改相应的源码或者相关库文件的存放路径，编译出windows平台下静态库和二进制执行文件。TIP:在碰到很多编译错误的时候，适当避开某些不好解决的第三方依赖库(libevent,gflag,glog)，把流程走通，再回头解决外部依赖库的问题。windows编译tensorflows

海棠花不香·2024-01-18 07:34

zookeeper 从是啥到咋用

zookeeper，使用kraft架构-CSDN博客3、zookeeper几种状态1）、LOOKING：参加竞选状态；2）、FOLLOWING：跟随Leader状态，同步Leader数据，参与选举投票；3）、OBSERVING

知其_所以然·2024-01-16 03:05

基于深度学习的实例分割的Web应用

该项目采用一种类似于PaddleServing的方式，但不使用PaddleSer

OverlordDuke·2024-01-15 19:49

On Writing Well -Day17 (Ch17)

Content:PartI|Principles1.TheTransaction2.Simplicity3.Clutter(WritingcleanEnglishSentence)4.Style(Preservingyouridentity

胖头鸭鸭·2024-01-15 17:14

[paddle]paddlehub部署paddleocr的hubserving服务

PaddlePaddle/PaddleOCR.git然后切换到paddocr目录执行新建个文件夹叫Inference把paddleocr模型放进去安装文字识别服务：hubinstalldeploy\hubserving

FL1623863129·2024-01-13 17:26

推荐频道

Serving

深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】

多种model serving 的调研比较

SAFEFL: MPC-friendly Framework for Private and Robust Federated Learning论文阅读笔记

ios面试热门问题二

TBB中的join节点的Reservation

【DataHub】 现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解

Rust中的模块路径和pub关键字详解

81TensorFlow 2 模型部署方法实践--TensorFlow Serving 部署模型

Verilog刷题笔记5

本地build部署查看制品

s2i ksonnet helm minikube kubectl oc kubeflow docker CLI 串讲

OC底层原理18 - KVO

Fate-Serving推理服务源码解读

secretflow推理服务源码解读

【推荐算法】userid是否建模

【缩略图保持的图像加密隐私保护学习，TPE】

ALOS 30mDEM数据显示

MarioNETte: Few-shot Face Reenactment Preserving Identity of Unseen Targets（AAAI20）

（阅读笔记）SecureML: A System for Scalable Privacy-Preserving Machine Learning

论文学习笔记 POSEIDON: Privacy-Preserving Federated Neural Network Learning

InstantID: Zero-shot Identity-Preserving Generation in Seconds

最新论文笔记(+21)：Privacy-Preserving Byzantine-Robust Federated Learning via Blockchain Systems/ TIFS2022

【论文阅读笔记】InstantID : Zero-shot Identity-Preserving Generation in Seconds

oracle auto failover,dg设置auto failover

Observing People 1

2022-06-07

An End-to-End Learning-Based Metadata Management Approach for Distributed File Systems——论文阅读

python报错解决：ModuleNotFoundError: No module named ‘http.server‘； ‘http‘ is not a package

扇贝阅读-提倡公筷，你支持吗

大模型训练为什么用A100？

图像分割的tf-serving

分布式因果推断在美团履约平台的探索与实践

iOS Objective-C KVO 常见用法

Beijing 2022: life inside the Winter Olympics Bubble

在麒麟系统（arm）下Anaconda虚拟环境安装TensorFlow和tensorflow-serving

【图像拼接】论文精读：Ratio-Preserving Half-Cylindrical Warps for Natural Image Stitching

【图像拼接】论文精读：Geometric Structure Preserving Warp for Natural Image Stitching（GES-GSP）

【图像拼接】论文精读：Content-Preserving Warps for 3D Video Stabilization（CPW）

【图像拼接】论文精读：Dual-Feature Warping-based Motion Model Estimation（DFW）

【图像拼接论文精读】Shape-optimizing hybrid warping for image stitching

Training and Serving System of Foundation Models: A Comprehensive Survey

17、KVO 原理分析

联邦学习论文阅读：Federated collaborative filtering

《经济学人》研读笔记

大模型训练为什么用A100不用4090

windows编译TensorFlowServing

zookeeper 从是啥到咋用

基于深度学习的实例分割的Web应用

On Writing Well -Day17 (Ch17)

[paddle]paddlehub部署paddleocr的hubserving服务

【DataHub】现代数据栈的元数据平台的Serving Architecture【服务体系架构】讲解