【分布式算法】

PHP实现的一致性Hash算法详解【分布式算法】

本文实例讲述了PHP实现的一致性Hash算法。分享给大家供大家参考，具体如下：一致性哈希算法是分布式系统中常用的算法，为什么要用这个算法？比如：一个分布式存储系统，要将数据存储到具体的节点（服务器）上，在服务器数量不发生改变的情况下，如果采用普通的hash再对服务器总数量取模的方法（如key%服务器总数量），如果期间有服务器宕机了或者需要增加服务器，问题就出来了。同一个key经过hash之后，再与
雪山飞猪·2018-03-31 15:50

大数据 互联网架构阶段 Redis（三）redis集群

Redis(三)redis集群一、redis哨兵模式的缺点问题一：横向扩展不方便，一旦扩展，无论代码结构多么简单，都需要修改问题二：散列分布式算法是hash一致性，无论多少的数据迁移都会造成扩展集群和收缩集群时必须要做数据迁移
chou_out_man·2018-02-02 22:17

Paxo算法学习（一）

Paxo算法用于分布式算法，为的是保证CAP中的consistency。算法的目的是加速整个cluster的replication数据一致。
fertilizer·2017-11-20 21:22

20万、50万、100万年薪的算法工程师能力上有哪些差距？

研发和持续优化2.和业务团队深入合作，解决在推荐业务发展中遇到的产品和平台架构问题；具备一定的前瞻性；3.具体领域包括但不限于推荐算法开发、分布式存储、大规模分布式计算、实时计算、跨平台资源调度、大规模分布式算法平台等
Mc顽固份子·2017-09-18 15:17

20万、50万、100万年薪的算法工程师能力上有哪些差距？

研发和持续优化2.和业务团队深入合作，解决在推荐业务发展中遇到的产品和平台架构问题；具备一定的前瞻性；3.具体领域包括但不限于推荐算法开发、分布式存储、大规模分布式计算、实时计算、跨平台资源调度、大规模分布式算法平台等
hanningxue·2017-09-18 14:34

20万、50万、100万年薪的算法工程师能力上有哪些差距？

研发和持续优化2.和业务团队深入合作，解决在推荐业务发展中遇到的产品和平台架构问题；具备一定的前瞻性；3.具体领域包括但不限于推荐算法开发、分布式存储、大规模分布式计算、实时计算、跨平台资源调度、大规模分布式算法平台等
Mc顽固份子·2017-09-18 00:00

《优秀到不能被忽视》正确地工作胜过正确的工作

书的作者是:[美]卡尔·纽波特，是麻省理工学院计算机科学博士，分布式算法专家，大学第一年中就出了一本学习建议方面的指导书，通过有意识的积累职场资本，成为乔治城大学计算机科学副教授。
成长在途中·2017-08-20 15:08

ceph学习笔记之八 CRUSH

数据分布式算法的要求：数据分布和负载均衡首先要让数据分布均匀，使数据能均匀的分布在各个节点和磁盘上。其次是负载均衡，使数据访问（主要是读写操作）的负载在各个节点和磁盘上的负载均衡。
zhutianss·2017-08-02 01:29

区块链导读

2.区块链的涉及的核心技术（1）点对点网络设计（2）加密技术（3）分布式算法（4）数
Y_TonyAlmeida·2017-07-27 16:20

1.4　弹性分布式数据集

Spark是一个分布式计算框架，而RDD是其对分布式内存数据的抽象，可以认为RDD就是Spark分布式算法的数据结构，而RDD之上的操作是Spark分布式算法的核心原语，由数据结构和原语设计上层算法。
Albert陈凯·2017-07-12 19:58

Memcached详解

本篇文章重点关注以下问题：memcached的基础理解memcached的内存存储memcached的删除机制和发展方向memcached的分布式算法1.memcached的基础1.1memcached
归宿的微博小窝1984·2017-07-02 18:00

Arxiv网络科学论文摘要14篇(2017-06-16)

快速准确地挖掘大图中的主题统计;ChoiceRank：从网络中的节点流量中识别偏好;多文化维基百科挖掘地缘政治互动：利用减化的Google矩阵分析;比较独立级联模型中完整的子模态特征;一种具有耦合约束的平均聚合博弈的分布式算法
ComplexLY·2017-06-16 09:57

redis集群练习1(redis cluster tutorial)

redisclustertutorial)redis集群练习2redis集群练习3centos防止rediscrash的配置概要这篇文章主要是想通过一个简单的方式去介绍redis集群，而不会涉及到比较复杂的分布式算法概念
SteveGuRen·2017-03-31 17:56

Java中高级面试题总览

目录JAVA基础JVM知识开源框架知识操作系统多线程TCP与 HTTP架构设计与分布式算法Mysql中间件框架JAVA基础1. JAVA中的几种基本数据类型是什么，各自占用多少字节。
击水三千里·2017-03-29 00:00

分布式系统---3 MIT著名教授Nancy Lynch介绍

她在分布式算法领域发表了大量的论文，包括证伪、建模和验证，以及input/outputautomation，也编写了著名的“分布式算法”经典书。基于她在分布式
罗庆超·2017-01-25 23:35

Raft算法国际论文全翻译

最近在开发强一致性的分布式算法，因此需要深入理解下Raft算法，这里对Raft论文进行了翻译，留以备用－Sunface.英文版论文：https://ramcloud.atlassian.net/wiki
Sunface撩技术·2016-12-15 16:46

Raft算法国际论文全翻译

最近在开发强一致性的分布式算法，因此需要深入理解下Raft算法，这里对Raft论文进行了翻译，留以备用－Sunface.英文版论文：https://ramcloud.atlassian.net/wiki
Sunface撩技术·2016-12-15 16:46

总结memcache的原理和使用

大纲memcache是什么memcache服务器的配置php中memcache的使用php中memcached扩展的常用的参数memcache的监控memcached的原理memcached的分布式算法一致
逐梦如风·2016-09-21 18:44

分布式缓存——memcache原理

MemCache和MemCached的区别3.memcache访问模型4.Memcached作为高速运行的分布式缓存服务器具有以下特点5.Memcached的内存算法6.Memcached的缓存策略7.分布式算法
willis_sun·2016-09-12 07:54

分布式算法之取模算法的缺陷

分布式算法之取模算法的缺陷：假设有8台服务器，运行中，突然down一台，则求余的底数变成7，后果：key:0%8=0,key:0%7=0 hits....key:6%8=6,key:6%7=6hitskey
baidu_21578557·2016-09-04 11:00

分布式设计与开发（二）------几种必须了解的分布式算法

分布式设计与开发中有些疑难问题必须借助一些算法才能解决，比如分布式环境一致性问题，感觉以下分布式算法是必须了解的（随着学习深入有待添加）：Paxos算法一致性Hash算法Paxos算法1）问题描述分布式中有这么一个疑难问题
baidu_21578557·2016-06-21 20:00

大数据是这样计算的：XLab实例入门

第2章简介XLab是大数据通用算法平台，现为阿里巴巴集团内部最大的分布式算法平台，集大规模统计、机器学习、数据分析、挖掘和处理于一体，致力于帮助用户享受最新的算法研究成果，使其无须关注
杨旭·2016-05-22 00:00

分布式设计与开发（二）------几种必须了解的分布式算法

分布式设计与开发中有些疑难问题必须借助一些算法才能解决，比如分布式环境一致性问题，感觉以下分布式算法是必须了解的（随着学习深入有待添加）：Paxos算法一致性Hash算法Paxos算法1）问题描述分布式中有这么一个疑难问题
edeis2011·2016-05-10 16:00

Paxos在大型系统中常见的应用场景

在分布式算法领域，有个非常重要的算法叫Paxos,它的重要性有多高呢，Google的Chubby[1]中提到allworkingprotocolsforasynchronousconsensuswehavesofarencounteredhavePaxosattheircore
edeis2011·2016-05-10 16:00

[置顶] 分布式-选举算法

选举算法：        许多分布式算法需要一个进程充当协调者、发起者或者其他某种特殊的角色。通常由哪个进程充当这个较色并不重要，重要的是它们中要有一个进程来充当。
u010233323·2016-05-02 22:00

分布式设计与开发（二）------几种必须了解的分布式算法

分布式设计与开发中有些疑难问题必须借助一些算法才能解决，比如分布式环境一致性问题，感觉以下分布式算法是必须了解的（随着学习深入有待添加）：Paxos算法一致性Hash算法Paxos算法1）问题描述分布式中有这么一个疑难问题
商云·2016-04-05 17:00

【分布式的存储系统之一致性哈希算法】

算法有点难以理解，看不懂的可以放弃，毕竟是分布式算法，主要解决怎么把一个值缓存映射到服务器上面，下次查找可以直接从缓存中找回来，而不用再去查找数据库。
gaojingsong·2016-03-21 08:34

Memcache(5)------Memcached的分布式算法

Memcached称为'分布式'缓存服务，但是服务器端并没有'分布式'的功能。服务器端主要有内存存储功能，而要想实现‘分布式’，则必须完全由客户端的应用程序库来完成。一，理解Memcached的分布式含义用实例说明一下Memcached的分布式是怎么回事：假设memcached服务器有node1～node3三台，应用程序要保存键名为“tokyo”“kanagawa”“chiba”“saitama”
yhl_jxy·2016-03-19 20:00

分布式进阶(十八) 分布式缓存之Memcached

其次是分布式管理和分布式算法，然后是缓存键值管理和路由。   Memcached 是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负
sunhuaqiang1·2016-03-14 09:00

Ketama一致性Hash算法

一致性哈希算法(ConsistentHashingAlgorithm)是一种分布式算法，常用于负载均衡。
m635674608·2016-03-12 19:35

通过一个大型项目来学习分布式算法(6)

  图7：三个策略的分区和key的位置。甲，乙，丙描述三个独立的节点，形成keyk1在一致性哈希环上的首选列表(N＝3)。阴影部分表示节点A，B和C形式的首选列表负责的keyrangee。黑色箭头标明各节点的Token的位置。策略3：每个节点Q/S个Token，大小相等的分区：类似策略2，这一策略空间划分成同样大小为Q的散列分区，以及分区布局(placementofpartition)与划分方法(
abv123456789·2016-03-11 17:00

通过一个大型项目来学习分布式算法(5)

这也引入了一个耐用性漏洞(vulnerability)窗口：即使它只是在少数几个节点上持久化了但写入请求成功返回到客户端。传统的观点认为，耐用性和可用性关系总是非常紧密(hand-in-hand手牵手^-^)。但是，这并不一定总是真的。例如，耐用性漏洞窗口可以通过增加W来减少，但这将增加请求被拒绝的机率(从而减少可用性)，因为为处理一个写请求需要更多的存储主机需要活着。被好几个Dynamo实例采用
abv123456789·2016-03-11 17:00

通过一个大型项目来学习分布式算法(4)

使用暗示移交，Dynamo确保读取和写入操作不会因为节点临时或网络故障而失败。需要最高级别的可用性的应用程序可以设置W为1，这确保了只要系统中有一个节点将key已经持久化到本地存储,一个写是可以接受(即一个写操作完成即意味着成功)。因此，只有系统中的所有节点都无法使用时写操作才会被拒绝。然而，在实践中，大多数Amazon生产服务设置了更高的W来满足耐久性极别的要求。对N,R和W的更详细的配置讨论在
abv123456789·2016-03-11 17:00

通过一个大型项目来学习分布式算法(3)

图2：Dynamo的划分和键的复制。一个负责存储一个特定的键的节点列表被称为首选列表(preferencelist)。该系统的设计，如将4.8节中解释，让系统中每一个节点可以决定对于任意key哪些节点应该在这个清单中。出于对节点故障的考虑，首选清单可以包含起过N个节点。请注意，因使用虚拟节点，对于一个特定的key的第一个N个后继位置可能属于少于N个物理所节点(即节点可以持有多个第一个N个位置)。为
abv123456789·2016-03-11 17:00

通过一个大型项目来学习分布式算法(2)

对称性：每个Dynamo节点应该与它的对等节点(peers)有一样的责任;不应该存在有区别的节点或采取特殊的角色或额外的责任的节。根据我们的经验，对称性(symmetry)简化了系统的配置和维护。去中心化：是对对称性的延伸，设计应采用有利于去中心化而不是集中控制的技术。在过去，集中控制的设计造成系统中断(outages)，而本目标是尽可能避免它。这最终造就一个更简单，更具扩展性，更可用的系统。异质
Sunface撩技术·2016-03-11 17:34

通过一个大型项目来学习分布式算法(2)

对称性：每个Dynamo节点应该与它的对等节点(peers)有一样的责任;不应该存在有区别的节点或采取特殊的角色或额外的责任的节。根据我们的经验，对称性(symmetry)简化了系统的配置和维护。去中心化：是对对称性的延伸，设计应采用有利于去中心化而不是集中控制的技术。在过去，集中控制的设计造成系统中断(outages)，而本目标是尽可能避免它。这最终造就一个更简单，更具扩展性，更可用的系统。异质
Sunface撩技术·2016-03-11 17:34

通过一个大型项目来学习分布式算法(2)

对称性：每个Dynamo节点应该与它的对等节点(peers)有一样的责任;不应该存在有区别的节点或采取特殊的角色或额外的责任的节。根据我们的经验，对称性(symmetry)简化了系统的配置和维护。去中心化：是对对称性的延伸，设计应采用有利于去中心化而不是集中控制的技术。在过去，集中控制的设计造成系统中断(outages)，而本目标是尽可能避免它。这最终造就一个更简单，更具扩展性，更可用的系统。异质
abv123456789·2016-03-11 17:00

通过一个大型项目来学习分布式算法(1)

Dynamo：Amazon的高可用性的键-值存储系统摘要巨大规模系统的可靠性是我们在Amazon.com，这个世界上最大的电子商务公司之一，面对最大的挑战之一，即使最轻微的系统中断都有显着的经济后果并且影响到客户的信赖。Amazon.com平台，它为全球许多网站服务，是实现在位于世界各地的许多数据中心中的成千上万的服务器和网络基础设施之上。在这一规模中，各种大大小小的部件故障持续不断发生，管理持久
Sunface撩技术·2016-03-11 16:37

通过一个大型项目来学习分布式算法(1)

Dynamo：Amazon的高可用性的键-值存储系统摘要 巨大规模系统的可靠性是我们在Amazon.com，这个世界上最大的电子商务公司之一，面对最大的挑战之一，即使最轻微的系统中断都有显着的经济后果并且影响到客户的信赖。Amazon.com平台，它为全球许多网站服务，是实现在位于世界各地的许多数据中心中的成千上万的服务器和网络基础设施之上。在这一规模中，各种大大小小的部件故障持续不断发生，管理持
abv123456789·2016-03-11 16:00

基于Spark自动扩展scikit-learn (spark-sklearn)

scikit-learn(spark-sklearn)1.1导论SparkMLlib将传统的单机机器学习算法改造成分布式机器学习算法，比如在梯度下降算法中，单机做法是计算所有样本的梯度值，单机算法是以全体样本为计算单位；而分布式算法的逻辑是以每个样本为单位
sunbow0·2016-03-10 17:00

一致性哈希算法的应用及实现

一致性哈希算法(ConsistentHashingAlgorithm)是一种分布式算法，由MIT的Karger及其合作者提出，现在这一思想已经扩展到其它领域。
邴越·2016-02-28 19:00

[原]基于Spark的ADMM分布式算法在组合优化中的应用

概述首先，您有必要了解一下，为什么我们需要用分布式算法来计算我们的组合优化问题（一个QAP问题）。
HarryZhu·2016-02-27 00:00

详解MemCached原理

它的分布式其实在服务端是不具有分布式的特征的，是依靠客户端的分布式算法进行了分布式，memcached是一个纯内存型的数据库，这样在读写速度上相对来说
流年莫逝·2016-01-27 23:00

操作系统学习笔记：分布式协调

需要提出一种分布式算法为事件进行一致性整体排序。1、事前关系如果两个事件没有因果关系，则称两个事件是并发执行。由于它们之间并不相互影响，所以哪个先发生并不重要，重要的是
leftfist·2016-01-24 22:00

分布式缓存-Memcached

其次是分布式管理和分布式算法，其次是缓存键值管理和路由。原文：http://wenku.baidu.com/view/8686d46c7e21af45b307a8c3.ht
chenjian98·2016-01-08 10:06

如何学习掌握一个分布式系统-What We Talk About When We Talk About Distributed

长期以来学习掌握分布式系统的知识非常庞杂混乱，本文将分布式算法归纳为几种：计时模型timingmodel进程间通讯interprocesscommunication失败模型failuremodel计时模型
shenlei19911210·2015-12-29 14:00

分布算法之一致性哈希算法

服务器等缓存服务器的负载均衡（分布式cache），MySQL的分布式集群（分布式DB），大量session的共享存储（分布式文件，或session服务器等），这些都会用到分布式的思想，究其根源，都要理解分布式算法
枕边书·2015-12-19 10:00

分布算法之一致性哈希算法

服务器等缓存服务器的负载均衡（分布式cache），MySQL的分布式集群（分布式DB），大量session的共享存储（分布式文件，或session服务器等），这些都会用到分布式的思想，究其根源，都要理解分布式算法
枕边书·2015-12-19 10:00

架构师学习方向

产品的实现原理2.熟悉当前流行的处理大数据的技术，如Hadoop,Lucent,HDFS,...3.学习架构知识，如《软件架构设计》，会画各种架构图（网络拓扑图、类图、时序图等等）4.学习并发原理、算法，如分布式算法的书
doudou_001·2015-12-18 09:00

分布式设计与开发------几种必须了解的分布式算法

分布式设计与开发中有些疑难问题必须借助一些算法才能解决，比如分布式环境一致性问题，感觉以下分布式算法是必须了解的（随着学习深入有待添加）：Paxos算法一致性Hash算法Paxos算法1）问题描述分布式中有这么一个疑难问题
wikison·2015-11-28 10:00
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他