【分布式算法】

Paxos 算法详解（一）

前言提到分布式算法，就不得不提Paxos算法，在过去几十年里，它基本上是分布式共识的代名词，因为当前最常用的一批共识算法都是基于它改进的。

林木森^~^·2024-09-13 15:03

分布式缓存上—浅谈缓存的理解

2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.分布式缓存3.1Memcached基本介绍特点基本架构缓存数据过期策略数据淘汰内部实现分布式集群实现数据存储步骤：分布式算法

ZNineSun·2024-02-15 09:39

【论文笔记】OSDI04 MapReduce: Simplified Data Processing on Large Clusters

MapReduce是一种编程模型（类似于现在的框架），主要是将分布式算法进行了抽象，MP负责处理分布式中的容错、通信等，程序员只需要关注具体的业务实现，即Mapper和Reducer的逻辑。

qq_38420683·2024-02-01 12:03

②snowflake（雪花ID）

1.雪花ID概念雪花算法（Snowflake）是一种用于生成唯一标识符（ID）的分布式算法。它可以生成趋势递增且具有一定时间顺序的64位整数，适用于分布式系统中的唯一ID生成需求。

LB_bei·2024-01-25 23:06

浅析一致性哈希算法

一、分布式算法在做服务器负载均衡时候可供选择的负载均衡的算法有很多，包括：轮循算法(RoundRobin)、哈希算法(HASH)、最少连接算法(LeastConnection)、响应速度算法(ResponseTime

秋慕云·2024-01-24 12:50

【分布式算法】Gossip协议详解

一、为什么需要Gossip协议？为了实现BASE理论中的“最终一致性原则”。两阶段提交协议和Raft算法需要满足“大多数服务节点正常运行”原则，如果希望系统在少数服务节点正常运行的情况下，仍能对外提供稳定服务，这时就需要实现最终一致性。在我看来，你可以通过Gossip协议实现这个目标。Gossip协议，顾名思义，就像流言蜚语一样，利用一种随机、带有传染性的方式，将信息传播到整个网络中，并在一定时间

小颜-·2024-01-15 08:01

深度解析分布式算法：构建高效稳定的分布式系统

19年之后由于某些原因断更了三年，23年重新扬帆起航，推出更多优质博文，希望大家多多支持～古之立大事者，不惟有超世之才，亦必有坚忍不拔之志个人CSND主页——Micro麦可乐的博客《Docker实操教程》专栏以最新的Centos版本为基础进行Docker实操教程，入门到实战《RabbitMQ》本专栏主要介绍使用JAVA开发RabbitMQ的系列教程，从基础知识到项目实战《设计模式》专栏以实际的生活

Micro麦可乐·2024-01-06 23:04

分布式【RPC 常见面试题】

一、注册中心策略：服务注册原理、注册中心结构、zookeeper的原理、几个注册中心的区别、分布式算法、分布式事务。项目细节：服务注册、服务发现、服务注销、监听机制介绍一下服务注册中心怎么做的？

sober_me·2024-01-01 11:32

代理云为爬虫提供分布式代理IP解决方案

大数据时代，爬虫工作者已经成为互联网数据公司的关键性职位，他们不但要精通数据抓取和分析，其次还要熟悉搜索引擎和相关检索算法，对内存、性能、分布式算法都要有一定的了解。并做工作进程编排合理的布局。

Meyiao·2023-12-03 21:01

多机器人协同编队的避障路径规划实现（基于一致性算法和人工势场算法的Matlab代码）

一致性算法（ConsensusAlgorithm）是一种分布式算法，用于实现多个机器人之间的信息交流和协同行动。它通过迭代的方式，使得每个机器人

CodeSpark·2023-12-02 22:45

终于有架构大牛把分布式系统概念讲明白了，竟然用了足足800页

本书介绍了分布式系统的概念、基本原理和核心技术，覆盖的内容涉及分布式算法、中间件、系统服务、分布式数据处理等。阅读此书，既可以从系统层面了解分布式系统构建的基本原理

写代码的珏秒秒·2023-12-01 15:46

简述计算机学科的三个过程,三阶段提交

三阶段提交，也叫三阶段提交协议，是在计算机网络及数据库的范畴下，使得一个分布式系统内的所有节点能够执行事务的提交的一种分布式算法。三阶段提交是为解决两阶段提交协议的缺点而设计的。

迷荆·2023-11-21 18:59

分布式算法---拜占庭将军问题

一.拜占庭将军问题拜占庭将军问题（Byzantinefailures），是由莱斯利·兰伯特提出的点对点通信中的基本问题。含义是在存在消息丢失的不可靠信道上试图通过消息传递的方式达到一致性是不可能的[1]。1.简介拜占庭将军问题是一个协议问题，拜占庭帝国军队的将军们必须全体一致的决定是否攻击某一支敌军。问题是这些将军在地理上是分隔开来的，并且将军中存在叛徒。叛徒可以任意行动以达到以下目标：欺骗某些将

清扬叶·2023-11-20 18:37

CnosDB有主复制演进历程

主从模式主从模式以Raft分布式算法为代表，Raft算法是DiegoOngaro和JohnOusterho

CnosDB·2023-11-19 22:12

条件概率、联合概率、边缘概率的区别及独立事件、古典概型

深入学习机器学习、分布式算法才发现概率与统计，线代都很重要，下面我简单串一下如题目所示的知识第一步：P(A|B)是在条件B发生的情况下A发生的概率，P(AB)是条件A与B同时发生的概率。

喔就是哦噢喔·2023-11-13 16:46

Lamport Clock 笔记

Time,Clocks,andtheOrderingofEventsinaDistributedSystem论文阅读笔记之前看过一点分布式算法：DistributedComputing——Principles

rsy56640·2023-11-05 21:41

共识算法论文——Paxos Made Simple

基础概念业界一般将Lamport论文里最初提出的分布式算法称之为BasicPaxos，这是Paxos最基础的算法思想。

聂炳玉·2023-11-01 14:42

zhaoxi_yu·2023-10-31 02:13

全球30+高校纷纷开设区块链课程，这里面有什么秘密？

区块链作为互联网基础上更为先进的底层算法，通过去中心化的分布式算法，实现互联网中大数据的有效使用，将对互联网行业产生近乎

蒜粒财经·2023-10-30 13:41

论文-分布式-共识，事务以及两阶段提交的历史描述

这是一段关于一致性，事务以及两阶段提交的历史的描述阅读关于一致性的文献可能会有些困难，因为：各种用语在不断的演化着(比如一致性最初叫做协商)；各种研究成果并不是以一种逻辑性的顺序产生出来；同时描述整个分布式算法的框架与这些研究工作又是平行地演化着

兔子队列·2023-10-29 20:16

分布式共识算法——Paxos、ZAB、Raft

分布式算法01分布式基本理论CAP理论1998年，加州大学的计算机科学家EricBrewer提出，分布式系统有三个指标。

-特立独行的猪-·2023-10-29 19:26

DatenLord前沿技术分享 No.15

1、演讲题目使用TLA+为分布式算法验证正确性2、演讲时间2023年1月8日上午10:303、演讲人田野达坦科技(DatenLord)4、引言随着计算机领域的发展，软件变得越来越庞大复杂。

达坦科技DatenLord·2023-10-21 02:31

大数据和智能数据应用架构系列教程之：大数据概述与发展趋势

作者：禅与计算机程序设计艺术文章目录1.简介2.什么是大数据2.1定义2.2大数据分类（一）按结构分类（二）按特征分类2.3大数据发展趋势3.大数据核心算法原理机器学习算法深度学习算法分布式算法流式算法

禅与计算机程序设计艺术·2023-10-17 18:20

zookeeper学习笔记之-Paxos算法（一）- Basic Paxos

提到分布式算法，就不得不提Paxos算法，在过去几十年里，它基本上是分布式共识的代名词，因为当前最常用的一批共识算法都是基于它改进的。

土豆rose·2023-10-15 01:33

正确地工作而不是正确的工作

我最近看了一本书，《优秀到不能被忽视》，这本书的作者是卡尔·纽波特，有些多重身份，其中最重要的两个是麻省理工学院计算机科学博士和分布式算法专家，他曾经创办了深受深受美国中学生欢迎的博客，该博客专注于研究

我是张艳你是谁·2023-10-10 08:16

PAXOS简介

谈到区块链都会说到分布式系统，分布式系统的概念很早之前就被提了出来，因为CAP原则，随着分布式系统的出现需要一种高度容错的分布式算法来保证系统高效稳定的运行、特别是分布式系统的中一致性问题，无法决定一致性问题

磨链社区·2023-10-08 03:43

【Go语言实战】(25) 分布式算法 MapReduce

MapReduce写在前面身为大数据专业的学生，其实大学我也多多少少接触过mapreduce，但是当时觉得这玩意太老了，觉得这和php一样会被时代淘汰。只能说当时确实太年轻了，没有好好珍惜那时候的学习资源…现在回过头来看mapreduce，发现技术这东西和语言不一样，技术万变不离其中，而语言只是实现技术的一种方法而已，用什么语言其实并不重要。原论文地址：MapReduce:SimplifiedDa

小生凡一·2023-10-06 22:34

分布式算法相关，使用Redis落地解决1-2亿条数据缓存

面试题：1~2亿数据需要缓存，请问如何设计个存储案例回答：单机单台100%不可能，肯定是分布式存储，用redis如何落地？一般业界有三种解决方案：哈希取余分区2亿条记录就是2亿个k，v，我们单机不行必须要分布式多机，假设有三台机器构成一个集群，用户每次读写操作都是根据公式：hash(key)%N个机器台数，计算出哈希值，用来界定数据印射到哪一个节点上。优点：简单粗暴，直接有效，只需要预估好数据规划

fiveym·2023-09-29 19:44

较真儿学源码系列-PowerJob MapReduce源码分析

之前分析过PowerJob的时间轮源码，感兴趣的可以查看《较真儿学源码系列-PowerJob时间轮源码分析》1简介MapReduce是一种编程模型，以及在集群上使用并行、分布式算法处理和生成大数据集的相关实现

天瑕·2023-09-28 07:01

自增ID技术选型之Twitter分布式算法snowflake

(Java版)packagecom.nd.ppt.common.utils;/** *Twitter_Snowflake *SnowFlake的结构如下(每部分用-分开): *0-00000000000000000000000000000000000000000-00000-00000-000000000000 *1位标识，由于long基本类型在Java中是带符号的，最高位是符号位，正数是0，负

zhaoyg-code·2023-09-27 09:34

分布式系统知识总结

分布式协调与同步分布式互斥的实现方案:集中算法,也叫中央处理,容易出现单点故障,分布式算法,算法可用性比较低,容易产生通信风暴,适合小的,变动少的架构,比如hadoop的htfs令牌环算法,轮值,用一个令牌实现

clever哲思·2023-09-20 04:16

开启区块链3.0时代，如何正确构建自己的区块链平台

在目前的区块链生态中，主要有三大类：底层技术和基础设施层、通用应用层、平台层和行业应用层：1.底层技术和基础设施层主要包括网络编程、分布式算法、加密签名、数据存储等。

闭眼听风Y·2023-08-26 12:17

《深度工作》对人生的惊人影响

作者简介：卡尔-纽波特卡尔·纽波特，麻省理工学院计算机科学博士，分布式算法专家，畅销书作家，高人气博主。

阳光阳光再阳光·2023-08-25 21:53

区块链的五大应用领域

这时，区块链兴起了，它依靠着巧妙的分布式算法和密码学，解决了互联网的安全隐患，成为未来5年内最有前景的行业之一。那么区块链涉及的领域有哪些呢？

好菇凉_fc44·2023-08-06 18:17

分布式天梯图算法在 Redis 图数据库中的应用

分布式天梯图算法在Redis图数据库中的应用一、简介1天梯图算法2天梯图算法在Redis的应用二、Redis分布式天梯图算法设计与优化1基于天梯图的分布式算法设计2多节点扩展与负载均衡优化3数据存储方案与压缩策略三

格林希尔·2023-08-03 01:31

【入门SpringCloud（一）】什么是SpringCloud？

因此分布式系统的设计和实现需要使用适当的技术和工具，例如分布式算法、消息队列、负载

假正经的小柴·2023-08-01 16:17

#每天一本书+一页笔记# 1491《如何成为有效学习的高手》

#一生一万本计划#10000/1491【阅读日期】20220416【书名】如何成为有效学习的高手【作者】卡尔•纽波特【关键词】高效学习方法【分类】学习方法【简评】作者是麻省理工博士，分布式算法专家，教授

May终身阅读者·2023-07-31 09:17

全景项目解析作为区块链底层基础链的价值与未来

这个层次是一切的基础，使用网络编程、分布式算法、

TimeBankTBT·2023-07-19 05:44

分布式算法、并行计算和高性能计算有什么关系？一文说清

常常看到岗位JD中有要求懂分布式算法、并行计算以及高性能计算，那么他们三者究竟有什么关系。有人说，分布式算法就是并行计算、就是高性能计算，其实不完全正确。那么今天我们一起看看他们有什么关系吧？

猿代码科技·2023-06-22 18:00

分布式算法和高性能计算有什么区别？

分布式算法和高性能计算虽然在某些方面存在交叉和重叠，但它们具有一些区别。分布式算法侧重于将计算任务分解为多个子任务，并在多个计算节点上并行执行这些子任务。

猿代码科技·2023-06-22 18:00

paxos算法

Paxos算法1-算法形成理论分类：分布式算法2011-01-2715:117862人阅读评论(1)收藏举报算法servernosqllessinsertcPaxos算法的难理解与算法的知名度一样令人敬仰

pi9nc·2023-06-17 11:59

区块链产品为什么要有Token(代币)

私链的数据一致性依靠诸如PBFT、Raft等分布式算法来保障，这些算法的优点是逻辑清晰，有比较严密的推导结论，缺点是无法适应节点分布广泛、网络环境

大鱼Whale·2023-06-13 17:26

或许是东半球最好用的超参数优化框架：Optuna 进阶使用

分布式优化一提到分布式算法，我们想到的可能是麻烦的debug过程和分布式实现过程中各种线程锁之类的问题。你可能会好奇

qq_29229885·2023-06-09 20:20

分布式算法之一致性 Hash 算法

tip：作为程序员一定学习编程之道，一定要对代码的编写有追求，不能实现就完事了。我们应该让自己写的代码更加优雅，即使这会费时费力。推荐：体系化学习Java（Java面试专题）文章目录1、什么是一致性Hash算法2、一致性Hash算法详解2.1、Hash环2.2、增删节点2.3、不平衡问题2.4、虚拟节点3、一致性Hash算法的应用1、什么是一致性Hash算法一致性哈希算法（ConsistentHa

激流丶·2023-06-09 15:16

计算机网络-网络层1.0

传输单位网络层将分组从源端传到目的端，为分组交换网上的不同主机提供通信服务，传输单位为数据报路由器完成路由选择和分组转发路由选择：按照分布式算法，根据从相邻路由器所得到的的关于整个网络拓扑的变化情况，动态改变所选择的路由分组转发

Jamison Tam·2023-06-07 01:41

区块链的底层设施及基础协议层应用

是一切区块链应用的基础，使用网络编程、分布式算法、加密签名、数据存储等技术来构建网络环境、搭建交易通道，以及制定节点的奖励规则。不同的基础协议，根据不同的应用场景会构建出不同的网络

话说驿站·2023-04-18 16:01

500 lines or less学习笔记（十四）——分布式系统（cluster）

要学习分布式，就绕不开分布式算法。Paxos算法是早期经典的分布式算法，有很多经典应用，后来的分布式算法也对其有所借鉴。但Paxos是出了名的难以理解和难以实现。

简单一点点·2023-04-16 21:00

太上老君的炼丹炉之分布式 Quorum NWR

分布式系列文章：1.用三国杀讲分布式算法，舒适了吧？2.用太极拳讲分布式理论，真舒服！

悟空聊架构·2023-04-10 21:51

区块链-架构设计

从用到的技术来说，协议层主要包括网络编程、分布式算法、加密签名、数据存储技术等4个方面。1、网络编程能力是大家选择编程语言的主要考虑因素2、分布式

北山学者·2023-04-10 02:26

分布式算法（中科大分布式算法课程笔记）

分布式算法消息传递系统中的基本算法形式化模型生成树上的广播和汇集构造生成树构造DFS生成树（指定根）不指定根时构造DFS生成树环上选举算法leader选举问题匿名环异步环同步环上界O(n)有限制算法的下界

cx_0401·2023-04-07 04:49

推荐频道