分布式算法

分布式技术原理（二）：分布式互斥

目录分布式互斥霸道总裁：集中式算法民主协商：分布式算法轮值CEO：令牌环算法分布式互斥分布式系统里，这种排他性的资源访问方式，叫作分布式互斥（DistributedMutualExclusion），而这种被互斥访问的共享资源就叫作临界资源
有腹肌的小蝌蚪_·2020-07-12 18:41

分布式互斥算法解析

文章目录引言集中式算法分布式算法基于请求的算法基于令牌的算法总结引言分布式系统中可能会出现多个节点访问一个资源或者同时执行一个给定的函数,这些资源或者函数一般成为临界资源(CriticalResource
一个划水的人·2020-07-12 13:55

【对标TensorFlow】阿里公开内部超大规模分布式机器学习平台

鲲鹏结合了分布式系统及并行优化算法，解决了大规模机器学习算法带来的一系列问题，不仅囊括了数据/模型并行、负载平衡、模型同步、稀疏表示、工业容错等特性，而且还提供了封闭好的、宜于调用的API供普通的机器学习者开发分布式算法
阿里云云栖号·2020-07-12 12:26

fabric有哪些技术问题？目前fabric的版本是多少？代码在哪里？它用什么语言开发？

它采用PBFT分布式算法，网络编程方面用gRPC来做P2P通讯，使用ProtocolBuffer来序列化要传递的数据结构。是一个用go语言开发的项目。在架构设计上，Fabric可能与
qq_42598039·2020-07-11 20:06

Paxos

Paxos是一个较为基础的分布式算法。
oneslide·2020-07-11 17:45

[Memcached]Memcached 的分布式算法

本文部分内容转载自memcached的分布式算法，仅供学习使用。Memcached的分布式正如之前介绍的那样，Memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。
dapeng0802·2020-07-11 04:25

分布式系统互斥算法---分布式算法

该算法的工作过程如下：当一个进程要访问共享资源时，它会构造一个消息，其中包含要访问的资源的名字、其进程号、当前时间戳；然后它将该消息发送给系统中的所有其他进程；当一个进程接收到来自另一个进程的请求消息时，它根据自己与消息中的资源相关的状态来决定它要采取的动作：1）如果接收者没有访问资源，而且也没有访问的打算，就会给发送者一个OK消息；2）如果接收者已获得对资源的访问，那么他就不进行应答（或者回复拒
小小小小小杰·2020-07-10 17:46

区块链开发核心技术概览

其核心技术无外乎四个方面：P2P网络编程、加密签名、分布式算法、数据存储。运用这四种技术应用可以完成一个完整的区块链产品，据此暴露一些通用API，形成区块链网络。以我们熟悉的产品举例。
1刹那·2020-07-09 22:00

大数据日知录：架构与算法 笔记

大数据常用算法与数据结构5集群资源管理与调度6分布式协调系统7分布式通信8数据通道9分布式文件系统10内存KV11列式数据库12大规模批处理13流式计算14交互式数据分析15图数据库16机器学习：范型与架构17机器学习：分布式算法
志_祥·2020-07-09 15:44

大数据在人力资源管理当中的应用

文章目录大数据时代数字与人类文明普查与统计学统计学所推动的数据新知统计学之殇：全美流感预测患病人次预测案例大数据时代数据、算法、计算资源摩尔定律OTT式技术创新分布式集群分布式算法执行虚拟化与云计算云计算
阿丕 CDA·2020-07-08 21:11

HDP-拖拽式机器学习框架

拖拽式机器学习框架中科院开源图形化机器学习系统EasyML总结起来，EasyML的优势主要有三点：降低定义和执行机器学习任务的障碍;共享和重用算法的实现，作业DAG和实验结果;将独立算法和分布式算法无缝集成在一个任务中
yunpiao·2020-07-07 10:48

PyTorch深度学习模型分布式训练原理(Distributed training of Deep Learning models with PyTorch)

最后，为了提供实践经验，它从理论和实现的角度演示了一种用于训练DL模型的特定分布式算法（即，同步SGD）。什么是分布式计算？分布式计算是指编写程序的方式，该程序使用通过网络连接
jinhuazhe2013·2020-07-05 17:18

python3+scrapy框架爬虫实践

人们对于海量数据的挖掘和运用越来越密切，预示着爬虫工作者已经成为互联网数据公司的关键性职位，他们不但要精通数据抓取和分析，还要掌握搜索引擎和相关检索的算法，对内存、性能、分布式算法都要有一定的了解，并针对工作进程编排合理的布局
zhuliliye·2020-06-30 17:06

spark-learn-02

RDDspark是分布式计算框架，RDD是spark对分布式内存数据的抽象，可以认为RDD是spark分布式算法的数据结构；spark会将算法（RDD上的一连串操作）翻译为DAG形式的工作流进行调度，并进行
_zhangjian_·2020-06-30 13:00

redis之分布式算法原理

本文主要会围绕，redis分布式算法的原理以及环境配置搭建，和服务端客户端启动。我们会封装一个分布式ShardRedisAPI，最后验证一下Redis分布式环境验证。
小超人爱小土豆·2020-06-30 10:14

常见分布式算法的介绍

背景知识：哈希算法主要应用于缓存分布式系统。分布式是指将一个整体拆成多个部分，由多个服务器来执行完成。注意与集群的区别，集群是将多个相同的整体部署在多个服务器上独立执行。本文主要以key-value式缓存为例子讲解1.节点取余：如果你的缓存服务器有3台，编号为0，1，2，节点取余的方式就是将key做哈希运算并将返回值与3（服务器个数）取余，根据值将value分配到相应编号的服务器中。例如：例如我有
三斤和他的朋友们·2020-06-29 22:51

Redis分布式算法原理—Hash一致性理解

文章目录前言Redis集群使用为Redis集群使用Hash使用Hash的问题一致性hash算法的神秘面纱一致性Hash算法的容错性和可扩展性Hash环的数据倾斜问题结语前言一致性Hash算法在分布式中普遍使用，那么它到底是何方神圣呢？为何会用到它呢？与其他的算法如取模相比有何优势？在使用的过程中有何问题，又怎么解决？下面来一步步揭开它的神秘面纱。注：本篇博客相当于转载，中间加了一些理解，原地址为：
wlccomeon·2020-06-29 19:29

memcache小结

Memcache的作用及其优点分布式部署,可以架设多台memcache服务器,分摊服务器的工作,提高服务器的性能Memcache服务器集群的组成①多台memcache服务器②分布式算法(内置)如何把缓存时间设置大于
Snailwang04·2020-06-29 19:29

分布式算法 Paxos 的直观解释 (TL;DR)

,叫分布式系统.GoogleChubby的作者MikeBurrows说过:这个世界上只有一种一致性算法，那就是Paxos…其他一致性算法,都可以看做paxos在实现中的变体和扩展.另外一个经常被提及的分布式算法是
高可用架构·2020-06-29 16:23

【对标TensorFlow】阿里公开内部超大规模分布式机器学习平台

鲲鹏结合了分布式系统及并行优化算法，解决了大规模机器学习算法带来的一系列问题，不仅囊括了数据/模型并行、负载平衡、模型同步、稀疏表示、工业容错等特性，而且还提供了封闭好的、宜于调用的API供普通的机器学习者开发分布式算法
weixin_33774615·2020-06-28 05:18

《Spark大数据分析实战》——1.4节弹性分布式数据集

Spark是一个分布式计算框架，而RDD是其对分布式内存数据的抽象，可以认为RDD就是Spark分布式算法的数据结构，而RDD之上的操作是Spark分布式算法的核心原语，由数据结构和原
weixin_33757609·2020-06-28 04:41

分布式算法 hash算法

分布式算法一、Redis分布式算法原理1.传统分布式算法。
镜水灵动·2020-06-27 08:47

分布式系统的理解

经常听到”分布式系统“，”分布式计算“，”分布式算法“。分布式的具体含义是什么？狭义的分布是指，指多台PC在地理位置上分布在不同的地方。
易雪寒·2020-06-27 07:23

基于Spark自动扩展scikit-learn (spark-sklearn)

scikit-learn(spark-sklearn)1.1导论SparkMLlib将传统的单机机器学习算法改造成分布式机器学习算法，比如在梯度下降算法中，单机做法是计算所有样本的梯度值，单机算法是以全体样本为计算单位；而分布式算法的逻辑是以每个样本为单位
mishidemudong·2020-06-26 21:06

分布式算法(一致性Hash算法)---应对服务器宕机，增加或删除服务器

一、分布式算法在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括：轮循算法(RoundRobin)、哈希算法(HASH)、最少连接算法(LeastConnection)、响应速度算法(ResponseTime
sunforlife·2020-06-26 15:16

基于Spark自动扩展scikit-learn (spark-sklearn)

scikit-learn(spark-sklearn)1.1导论SparkMLlib将传统的单机机器学习算法改造成分布式机器学习算法，比如在梯度下降算法中，单机做法是计算所有样本的梯度值，单机算法是以全体样本为计算单位；而分布式算法的逻辑是以每个样本为单位
sunbow0·2020-06-26 15:14

JavaEE--------基于SSM的网上商城(待)

经常听到”分布式系统“，”分布式计算“，”分布式算法“。分布式的具体含义是什么？狭义的分布是指，指多台PC在地理位置上分布在不同的地方。
煜9527·2020-06-26 12:40

Arxiv网络科学论文摘要9篇(2019-03-29)

大规模公用设施网络的多尺度最短路径算法;模拟古代帝国的动态与冲突;具有幂律衰减键强度的随机网络中的多重分形;大图上完全个性化PageRank的分布式算法;用于复杂网络鲁棒社区检测的正则化随机块模型;解开狗行为中的语言模式
ComplexLY·2020-06-25 20:51

【区块链】（二）之传统网络协议

最近在研究区块链，广义的区块链技术，包含点对点网络设计、加密技术应用、分布式算法的实现、数据存储技术的使用方面。也就是说，区块链是点对点传输。
Louis越·2020-06-25 11:36

分布式算法

转载：：https://zhuanlan.zhihu.com/p/68717029转载：：https://blog.csdn.net/BmwGaara/article/details/94021563有用的tensorflow分布式计算：https://www.jianshu.com/p/bf17ac9e6357转载：：https://blog.csdn.net/u011026329/articl
聂小闲·2020-06-25 08:25

数字货币投资指南

而算法，尤其是这种分布式算法，用的人越多越可靠，目前的比特币想要篡改交易所需要的资金估计要几百亿，有趣的是一旦发生篡改，比特币价值可以瞬间到0，那篡改的意义又何在呢
miroder·2020-06-25 01:45

分布式事务：2PC、3PC协议

两阶段提交协议-2PC两阶段提交协议(2PC)：是一种原子承诺协议，一种分布式算法，它协调参与分布式事务的所有应用（进程）是否提交或终止（回滚）事务，2PC基本算法阶段一：提交事务询问请求（或投票）阶段事务协调者
犹明白·2020-06-24 23:26

hyperledger fabric的实现用到的技术和知识

它采用PBFT分布式算法，网络编程方面用gRPC来做P2P通讯，使用ProtocolBuffer来序列化要传递的数据
mellymengyan·2020-06-24 14:59

【Flink】Flink的编译（包含hadoop的依赖）

不过拿人家手短吃人家嘴软，既然拿了工资就应该好好的干活，当然前提是需求相对合理的情况嘿嘿~近来Flink的势头有点猛啊，它和spark的区别在于：spark更倾向于批处理或者微批处理（spark现在的发展方向往人工智能的分布式算法上走了
lsr40·2020-06-24 09:22

Part 2：Re-visiting of Paxos Made Simple（再读Paxos算法）

实际上，Paxos算法是最简单，最明显的分布式算法之一。核心是共
乖猪宝贝·2020-06-23 05:13

十种算法

十种算法1.树2.反向索引3.傅立叶变换4.并行算法5.MapReduce5.1分布式算法为什么有用5.2映射函数5.3归并函数6布隆过滤器和HyperLogLog6.1布隆过滤器6.2HyperLogLog7SHA
VX平台：交叉学科俱乐部·2020-06-22 06:01

OpenShift学习 01. OpenShift初体验

a.FlexibleCapacityb.HeavyDutyToolC.OpenAndExtensibleIII.OpenShift官方指南I.BackgroundIntroduction本人目前在读的这个项目是纽卡和红帽共建的，所以在课程设计上红帽有参与设计，主要学习高级java、分布式算法
JayXu6888·2020-06-22 05:07

Java中高级面试题总览

目录JAVA基础JVM知识开源框架知识操作系统多线程TCP与HTTP架构设计与分布式算法Mysql中间件框架JAVA基础1.JAVA中的几种基本数据类型是什么，各自占用多少字节。
击水三千里·2020-06-21 22:44

如何搭建大规模机器学习平台？以阿里和蚂蚁的多个实际场景为例

鲲鹏不仅囊括了数据/模型并行、负载平衡、模型同步、稀疏表示、工业容错等特性，而且还提供了封闭好的、宜于调用的API供普通的机器学习者开发分布式算法，降低使用成本并提升
weixin_33786077·2020-06-21 10:15

双12根本不在话下，阿里首次揭秘扛过双11的千亿级特征分布式机器学习平台XPS...

本文将对阿里集团极限参数服务器XPS平台的整体结构进行介绍，详解阿里在分布式算法设计和框架优化上的经验。阿里巴巴电商平台有上亿的用户和产品，每天产生百亿规模的用户反馈数据。比如淘宝首页的
阿里巴巴淘系技术团队官网博客·2020-06-20 23:37

Raft 协议

实际工程应用中的分布式算法大多是Paxos的变种，验证这些算法的正确性也成为了一个难题。
buttercup·2020-05-23 18:00

Redis分布式算法原理

传统分布式算法如果有3个redis服务节点，分别是redis0，redis1，redis2。
程豪_4090·2020-04-09 16:57

【成长日记】区块链认知革命一-初生

二、跨界中本聪将以前已经具备的一些技术，诸如分布式算法、公钥和私钥的非对称加密、共识算法和分布式账本结合到一起，非常之巧妙技术的巧妙结合实现了在一群不需要信任群体，即将一群彼此不认识的“乌合之众”，包括自私矿工为了自己利益挖取
007er_郑志刚·2020-04-09 02:34

人工智能未来趋势，你一定要看！

智能可以下载在服务智能下，人工智能会取得边际技术进步，如算法突破，小数据训练或分布式算法，也就是我们俗话说智能可以下载；而未来3~5年，人工智能仍然是凭服务智能为主要趋势。
台喜集团·2020-04-03 10:18

【论文学习11】GIANT: Globally Improved Approximate Newton Method for Distributed Optimization

前言分布式算法中经常使用梯度信息来进行优化，一阶方法有：SGD、加速SGD、方差减少SGD、随机坐标减少、双坐标提升方法。这些方法减少了本地计算，但同时需要更多迭代次数和更多的通信量。
20189223·2020-04-02 16:00

Redis分布式算法原理

传统分布式算法传统的分布式算法通常是采用hash取模的方式来处理数据与服务器节点的映射关系。举个栗子假设有个图片为test.jpg，现在有3个服务器，我们称之为0服务器、1服务器、2服务器。
若汐缘·2020-04-01 08:46

如何搭建大规模机器学习平台？以阿里和蚂蚁的多个实际场景为例

鲲鹏不仅囊括了数据/模型并行、负载平衡、模型同步、稀疏表示、工业容错等特性，而且还提供了封闭好的、宜于调用的API供普通的机器学习者开发分布式算法，降低使用成本
技术边城·2020-03-26 06:58

Paxos Made Simple

实际上，它是最简明的一种分布式算法了。它的核心是一致性算法——[5]中的『synod』算法。下一节显示了这个一致性算法几乎不可避免地遵从了我们想要它满足的性质。最后一段解释了
陈文轩·2020-03-19 02:59

面试积累-Redis-Redis集群方案应该怎么做？都有哪些方案？

rediscluster3.0自带的集群，特点在于他的分布式算法不是一致性hash，而是hash槽的概念，以及自身支持节点设置从节点。具体看官方文档介绍。
Rick1024·2020-03-16 16:07

【转】PBFT：实用拜占庭容错算法

图片发自App共识算法（consensusplugin）是区块链技术中最核心的部件之一，PBFT（实用拜占庭容错）作为经典分布式算法，被很多区块链采用，布萌也是采用了这一共识算法。
托斯卡纳的蓝·2020-03-02 00:12
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他