ps-lite

[源码解析] 机器学习参数服务器ps-lite 之(3) ----- 代理人Customer

[源码解析]机器学习参数服务器ps-lite之(3)-----代理人Customer文章目录[源码解析]机器学习参数服务器ps-lite之(3)-----代理人Customer0x00摘要0x01来源1.1
罗西的思考·2022-11-20 00:12

[源码解析] 机器学习参数服务器ps-lite (1) ----- PostOffice

[源码解析]机器学习参数服务器ps-lite(1)-----PostOffice文章目录[源码解析]机器学习参数服务器ps-lite(1)-----PostOffice0x00摘要0x01概要1.1参数服务器是什么
罗西的思考·2022-11-20 00:12

“绞杀者模式”实现任务从Mesos向K8s迁移

背景我们机器学习平台上的任务最初是通过Marathon启动在Mesos集群上的，分布式训练框架是ps-lite。
王勇1024·2022-02-21 08:32

基于ps-lite实现分布式的word2vec

ps-lite是一个参数服务器(ps)的实现。
xlvector·2021-05-18 12:35

ps-lite

编译测试makeclearcdtestsPID="`ps-ef|greptest_|grep-v'grep'|awk'{print$2}'ORS=","`"echo$PID|awk'{split($0,arr,",");cmd="kill-9";for(iinarr)system(cmdarr[i])}'findtest_*-typef-executable-exec./repeat.sh1./l
gb_QA_log·2020-07-14 22:26

FTRL算法性能优化

原算法（Worker端）：1.对1个mini-batch,得到每个sample的非0特征值的feature-id，排序(ps-lite要求Key必须有序），去重2.以这组feature-id为Key,从
smartcat2010·2020-07-08 06:37

参数服务器代码解读(1)

我也只大概了解了下petuum和ps-lite我本身对spark很熟悉，所以就从spark的角度去理解为什么会有ps这个东西呢。spark的架构是一个driver端，多个client端。
zkwdn·2020-06-30 18:32

MXNet KVStore API与python源码

说明最近碰到地一个问题是多机分布式训练的时候总是起不了程序，但是每台机器单独起训练程序总是没有问题，感觉这个问题经常碰到，解决的办法就是删掉程序，重新再来，确保每一台机器的程序一模一样，这样非常头疼，因为不理解其中的原理，接下来准备把kv-store和ps-lite
迷途的Go·2020-02-26 09:10

PS-Lite核心类

简单看一下各个类以及它们之间的关系Postoffice是全局管理类，单例模式创建。管理当前节点角色、其他节点的连接、心跳信息、配置信息。Van是负责通信的类，是Postoffice的成员。Van中std::unordered_mapsenders_保存了node_id到连接的映射。Van只是定义了接口，具体实现是依赖ZMQ实现的ZMQVan。Customer用来通信，跟踪request和respo
王勇1991·2020-02-14 13:01

ps-lite源码分析: include/ps/simple_app.h

简单的通信类，SimpleApp是一个基类；提供了发送接收int型的head和string型的body消息，以及注册消息处理函数。它有2个派生类。SimpleApp对象中包括一个Customer对象用来控制请求连接。/***Copyright(c)2015byContributors*/#ifndefPS_SIMPLE_APP_H_#definePS_SIMPLE_APP_H_#include#i
宏斌_0860·2020-01-18 21:16

ps-lite源码分析: include/ps/internal/van.h

Van是核心通信类，每个节点只有一个该对象，是Postoffice对象的成员。它负责建立起节点之间的互相连接（例如Worker与Scheduler之间的连接），并且开启本地的receivingthread用来监听收到的message。它发送消息至远程节点，如果环境变量PS_RESEND=1，并且在PS_RESEND_TIMEOUT微秒内没有收到ACK消息，那么它会重发消息。Van的子类为ZMQVa
宏斌_0860·2020-01-18 19:49

ps-lite源码分析: include/ps/sarray.h

/***Copyright(c)2015byContributors*/#ifndefPS_SARRAY_H_#definePS_SARRAY_H_#include#include#include#include#include#include"ps/internal/utils.h"#include"ps/range.h"namespaceps{/***共享数组，保留了共享所有关系，提供了与st
宏斌_0860·2020-01-18 17:02

ps-lite源码分析: include/ps/internal/env.h

/***Copyright(c)2016byContributors*/#ifndefPS_INTERNAL_ENV_H_#definePS_INTERNAL_ENV_H_#include#include#include#includenamespaceps{/***\briefEnvironmentconfigurations*/classEnvironment{public:/**返回单例*/
宏斌_0860·2020-01-18 09:32

ps-lite源码分析: include/dmlc/logging.h

/*!*Copyright(c)2015byContributors*\filelogging.h*\briefdefinesloggingmacrosofdmlc*allowsuseofGLOG,fallbacktointernal*implementationwhendisabled*/#ifndefDMLC_LOGGING_H_#defineDMLC_LOGGING_H_#include#i
宏斌_0860·2020-01-12 22:57

ps-lite源码分析: include/ps/internal/utils.h

/***Copyright(c)2015byContributors*/#ifndefPS_INTERNAL_UTILS_H_#definePS_INTERNAL_UTILS_H_#include"dmlc/logging.h"#include"ps/internal/env.h"namespaceps{/**如果使用了微软C编译器（不支持C99标准类型），则使用其支持类型，否则使用C99标准库跨
宏斌_0860·2020-01-12 17:08

ps-lite源码分析: include/ps/base.h

/***Copyright(c)2015byContributors*/#ifndefPS_BASE_H_#definePS_BASE_H_#include#include"ps/internal/utils.h"namespaceps{/**如果定义了环境变量USE_KEY32，则将Key类型指定为无符号32位整型，否则使用无符号64位整型*/#ifUSE_KEY32/*Useunsigned3
宏斌_0860·2020-01-12 17:45

基于DC/OS建立分布式机器学习系统

之前基于ps-lite实现了word2vec。下一步就是让这个算法能够分布式的跑起来。最简单的分布式方案大概是如下几步：把二进制文件copy到你要跑的机器上。
xlvector·2020-01-08 14:38

Parameter Server研究之ps-lite源码分析与开发

其中，李沐提出的第三代PS[2]影响力甚大，可以在Github找到其core-sources：ps-lite。
QihuaZhou·2020-01-06 04:13

Parameter Server研究之MXNet使用

其中，李沐提出的第三代PS[2]影响力甚大，可以在Github找到其simulation：https://github.com/dmlc/ps-lite。
QihuaZhou·2019-12-17 19:48

基于DC/OS建立分布式机器学习系统

【嵌牛正文】：之前基于ps-lite实现了word2vec。下一步就是让这个算法能够分布式的跑起来。最简单的
随心所欲_7b32·2019-12-08 15:08

PS-Lite源码分析

ParameterServer框架PS-Lite实现总体概览节点角色ID消息封装通信机制同步策略消息处理流程调试及启动流程一个例子参考ParameterServer中文名称叫做参数服务器，是分布式机器学习框架中用来做参数同步的框架
KangRoger·2017-06-15 23:08

ps-lite本地模式使用简介

ps-lite是DMLC的子模块，下面介绍其简单使用。
zc02051126·2016-03-19 22:00

MXNet 分布式架构——parameter server详解

而MXNet最吸引我的特性是它支持分布式训练（由ps-lite提供支持）。本博客从易用性、通信高效性、可扩展性等角度介绍李少帅的parameterserver.请猛戳：网页链接
zc02051126·2016-02-06 10:00
上一页 1 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他