6.824

MIT6.824 课程-MapReduce

MapReduce：在大型集群上简化数据处理概要MapReduce是一种编程模型，它是一种用于处理和生成大型数据集的实现。用户通过指定一个用来处理键值对(Key/Value)的map函数来生成一个中间键值对集合。然后，再指定一个reduce函数，它用来合并所有的具有相同中间key的中间value。现实生活中有许多任务可以通过该模型进行表达，具体案例会在论文中展现出来。以这种函数式风格编写的程序能够
余为民同志·2024-09-11 00:31

CMU15-440-P0:Implementing a key-value messaging system

15-440是CMU的一个分布式课程http://www.cs.cmu.edu/~15-440/syllabus.html，其实之前在学校的时候就上过分布式的课程，当时用的MIT6.824的课件，可惜当时很多
sdj222555·2024-02-11 05:03

redis持久化

持久化：可以理解为mit6.824教的主从备份机制，状态转移对应RDB，复制状态机对应AOF，RDB是全部数据的二进制快照文件，AOF是文本追加的日志。
背帆·2024-02-08 15:42

6.824-Lab 1: MapReduce

lab1链接：6.824Lab1:MapReduce(mit.edu)介绍在这个实验中，你将构建一个MapReduce系统。
向来痴_·2024-02-08 06:20

MIT 6.5830 概述

简介同MIT6.824系列类似，6.4830是关于DatabaseSystem的一门课程，官方主页链接。从课程信息可知，理论课分为21个课时，3个问题集，4个实验，1个项目。
一颗小小的石头.·2024-02-01 19:33

MapReduce 论文阅读笔记 MapReduce 简介

SimplifiedDataProcessingonLargeClustersJeffreyDeanandSanjayGhemawatGooglehttps://pdos.csail.mit.edu/6.824
RzBu11d023r·2024-01-31 04:34

分布式一致性算法---Raft初探

今天先以目前的理解程度（做了6.824的lab2A和lab2B）对这篇论文做一个初步总结，之后有了更深入的理解之后再进行迭代，关于本文有任何疑问欢迎评论交流。
小帅吖·2024-01-23 21:54

MIT 6.824 分布式系统 lab1 MapReduce 遇到死锁问题

记录学习6.824的lab1遇到的坑（死锁了）代码逻辑借鉴：https://blog.csdn.net/weixin_45938441/article/details/124018485问题描述目前处于编写
花里胡哨的菜只因·2024-01-20 03:55

【分布式-6.824】MIT分布式系统概述

1.引入论文地址：http://nil.csail.mit.edu/6.824/2020/schedule.html参考lab：https://github.com/aQuaYi/MIT-6.824-Distributed-Systems
我要精通C++·2024-01-13 10:28

6.824 Lab3 KVRAFT总结

1引言实验结果对于3A部分，可以稳定通过测试，结果如下：Test:oneclient(3A)......Passed--15.352021212Test:manyclients(3A)......Passed--16.453230466Test:unreliablenet,manyclients(3A)......Passed--17.152616311Test:concurrentappendt
Countingstarss·2024-01-03 02:53

CMU 15445 Project 2A 实现并发B+树的数据库索引（查询和插入）

但和MIT6.824那样一步步手把手指导，还是会不同。这边我重点挑我认为不是无脑就可以实现的部分写。
西部小笼包·2023-12-27 23:55

MIT 6.824 练习1

这是一份根据MIT6.824(2021)课程的第2课的课堂示例代码改编的2个go语言编程练习。
Daniel_187·2023-12-22 13:56

【MIT 6.824 分布式系统】Lecture2中的 crawler.go 代码及解析

packagemainimport("fmt""sync")////SeveralsolutionstothecrawlerexercisefromtheGotutorial//https://tour.golang.org/concurrency/10//////Serialcrawler////看Mit这节课的时候，感觉mit的学生真的很不一样，一直在提问题，而且直接打断老师并说出自己的想法。
背书包的小新·2023-12-20 17:45

Redis集群:分布式的less is more

推荐配合这本书（或者15-445+6.824）一起看[1]。本文就从分布式视角来介绍下Redis集群模式，顺便看看一些经典的分布式问题在redis下如何解决。
SakamataZ·2023-12-14 12:10

6.824 Lab2 RAFT总结

1引言大约用了20多天的时间完成了6.824的lab2，期间穿插了毕业预答辩，改论文，准备外审等等事情，最终磕磕绊绊的完成了Lab2，感觉算是自己写的程序中比较具有挑战性的了，因为在实验过程中需要认真的考虑并发
Countingstarss·2023-11-29 09:33

MIT 6.824 -- MapReduce Lab

MIT6.824--MapReduceLab环境准备实验背景实验要求测试说明流程说明实验实现GoLand配置代码实现对象介绍协调器启动工作线程启动Map阶段分配任务执行任务Reduce阶段分配任务执行任务终止阶段崩溃恢复注意事项并发安全文件转换
Binary Oracle·2023-11-28 04:18

MIT6.824-lab2A-2022篇（万字推导思路及代码构建）

目录前言一、学习背景二、实验引入三、结构体实现3.1State的定义3.2AppendEntriesRPC的定义3.3RequestVoteRPC的定义四、领导选举4.1初始化raft节点4.2Ticker(建立主体的心跳）4.3投票RPC实现五、日志增量/心跳建立5.1心跳/日志增量RPC实现5.2Test情况六、DeBug杂谈总结前言趁着五一没啥事情，花两天把lab2A写一下…还是老样子，希望
幸平xp·2023-11-25 17:58

MIT6.824-lab2B-2022篇（万字推导思路及代码构建）

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录前言一、整体流程思路二、初始化，发送ticker2.1、初始化2.2、发送ticker三、进行日志增量的RPC3.1、进行reply构造3.2、处理reply四、Debug五、总结前言忙里偷闲总算是把lab2b肝完了…不得不说五月真是最近最忙的一个月。对于lab2b，难度其实确实比lab2a大，甚至是比整个Lab1大的。2b其
幸平xp·2023-11-25 17:58

Mit6.824-lab2d-2022

Mit6.824-lab2d-2022写在前面如果你听从了我在2a里的建议，计算下标时已经考虑到了snapshot并且有好好做过2a和2b实验的设计与debug，那2d实验和2c差不多一样简单，只完成snapshot
eternalex·2023-11-25 17:53

Mit6.824-lab3a-2022

Mit6.824-lab3a-2022写在前面个人感觉lab3相比于lab2要简单不少，唯一的难点应该就是没有lab2那样明确的paper指导。
eternalex·2023-11-25 17:53

Mit6.824-lab3b-2022

Mit6.824-lab3b-2022写在前面个人感觉3b需要做的工作比3a还要简单，只是添加了个server的snapshot，但是由于加入了snapshot所以3a的测试对raft的代码要求又高了一个档次
eternalex·2023-11-25 17:53

Mit6.824-lab2a-2022

Mit6.824-lab2a-2022实验介绍实验建议1.熟悉整个实验2.提前做好后两个实验的准备3.写好功能函数4.做足够的测试2a实验内容具体实现测试错误信息实验介绍lab2总体是要复现一个简易的Raft
eternalex·2023-11-25 17:23

MIT 6.824-lab2 Raft

这个lab2属实麻烦，花了两天时间写代码，最后花了四天时间来debug才通过，debug的手段也很有限，基本只能通过看日志来发现代码中的逻辑问题，最终回顾写出来的代码还乱得不行，先做个简单的记录，以后如果还有时间来重构一下代码。1.Raftraft算法是一种分布式共识算法，相对于paxos算法而言更加简单容易理解（看起来简单，实现起来也挺不容易的）。raft的论文很多，也有很多中文版的，看一看很容
东东儿·2023-11-25 17:51

mit6.824 2022 lab2

MIT6.8242022RaftRaftleaderelectionlogpersistencelogcompaction整体测试后面发现的问题参考代码汇总博客：MIT6.8242022Raftleaderelection不论是访问还是修改Raft可变类成员，都需要加锁rf.mu.Lock()ifrf.state!=Leader{rf.mu.Unlock()return}args:=AppendE
最佳损友1020·2023-11-25 17:18

MIT 6.824分布式 LAB3：kvraft

Lab3要求实现数据库和raft算法的结合。分别需要设计客户端和服务端，Lab3的代码的复杂性远不如Lab2，因此代码量不是很多，尽量也避免修改raft的源码，不然出了bug改起来也头疼。客户端和服务端进行连接，服务端处运行着数据库服务，服务端同样还需要运行raft算法进行共识。客户端能够向服务端发起的请求有put,append,get。当客户端需要进行指定的功能时，给服务端的发送消息，然后会将操
Wedge_Ss·2023-11-25 17:47

MIT 6.824分布式 LAB2D：Raft

Lab2D是lab2的最后阶段了，这一阶段就是加了一个快照机制，但是这种实验中这个快照是何时以及如何进行的，建议大家事前先去看一看，不然就会碰到各种问题。例如，我在测试过程中莫名其妙发现leader死锁了，以及测试显示lastapplied的index值和commandIndex值不匹配等问题。这个实验的代码修改范围挺大，因为涉及到了rf.log的索引值的修改，以及logreplication的运
Wedge_Ss·2023-11-25 17:17

MIT 6.824分布式 LAB2A：Raft

Lab2A被官方指定为中等难度，对于我这种之前很少写多线程的菜鸡而言，真的花费了大量时间，同时对于论文的理解不够深刻，导致我在写这个lab的过程中多次推倒重写其中的逻辑，以及锁使用的不熟练，让程序在执行过程中经常发生有raft节点死锁。后续记录一下，我写这个lab2A过程中的踩的坑。介绍Lab2A就是让你实现leader的选举，因此对于选举这块的逻辑务必要理清，否则写的过程中就会不知如何处理Las
Wedge_Ss·2023-11-25 17:16

MIT 6.824分布式 LAB2B：Raft

Lab2B难度为hard，但是有了之前2A的经历，于我而言，2B的难度倒是远低于2A的难度。2B需要实现的功能就只是logreplication。在写2B的过程中，我还找到了之前2A写的一些bug，说实话，多线程的程序，有些bug真的很难发现，你会发现突然某次运行就有一个raft节点发生了死锁，没有任何响应了，大概率是因为锁设置的太多了，导致某处出现了死锁，同时此写这个lab对于我debug能力的
Wedge_Ss·2023-11-25 17:16

MIT6.824-Raft笔记:Raft初探、副本间log时序

从宏观角度说明raft在程序中的作用，和客户端的关系，以及多个副本之间的关系；从微观角度说明多个副本之间raft对日志处理的流程。1.Raft初探宏观角度说明raft在程序中的作用，和客户端的关系，以及多个副本之间的关系。Raft会以库（Library）的形式存在于服务中。如果你有一个基于Raft的多副本服务，那么每个服务的副本将会由两部分组成：应用程序代码和Raft库，应用程序代码接收RPC或者
Skyego·2023-11-25 17:45

MIT6.824-Raft笔记:脑裂、Majority Vote(过半投票/过半选举)

本部分主要是问题引入，以及给出一个解决方案1脑裂（SplitBrain）replicationsystem的共同点：单点前面几个容错特性（fault-tolerant）的系统，有一个共同的特点。MapReduce复制了计算，但是复制这个动作，或者说整个MapReduce被一个单主节点控制。GFS以主备（primary-backup）的方式复制数据，会实际的复制文件内容，但它也依赖一个单主节点，来确
Skyego·2023-11-24 08:09

【分布式】MIT 6.824 Lab 2B实现细节分析

基于6.8242020版http://nil.csail.mit.edu/6.824/2020/schedule.htmlLab2A（选举）一天就完成了，主要是第一次开始写Raft需要稍微熟悉一下，但是几乎不用修改
StevenGerrad·2023-11-16 05:36

MIT 6.824分布式 LAB1： MapReduce

从2020年开始，实验变为使用go语言，因此写这个实验的时候使用go语言仅仅只是临时学的，写的过程中犯了不少语法错误，这也让我走了好多弯路。。。下面我也会列出这些错误，不过真的很低级。。由于本人是go语言的初学者，代码也完全都是自己凭感觉去写，代码可能比较丑陋，大伙儿看看就好。介绍lab1其实就是让你利用MapReduce的原理去实现数单词的程序。MapReduce也是谷歌的大数据三篇重要论文之一
Wedge_Ss·2023-11-11 11:46

【6.824】分布式lab1 mapReduce

PapermainideaFigure1showstheoverallflowofaMapReduceoperationinourimplementation.WhentheuserprogramcallstheMapReducefunction,thefollowingsequenceofactionsoccurs(thenumberedlabelsinFigure1correspondtoth
叩钉吧zz·2023-11-11 11:14

MIT 6.824 Lab 1 MapReduce

MapReduce目标根据论文所说明的，有MASTER和WORKER两类工作节点，以下实现大都按照论文所说的实现，但是在对MASTER的实现上有所改动：MASTER向WORKER发送心跳检测，这里改为了对分配出去的任务进行超时监控。MASTER：接收MapReduce任务（需要处理的文件），并生成对应的Map任务。接受WORKER的任务分配请求，按需给WORKER分配任务（MaporReduce）
_lifehappy_·2023-11-04 10:17

读书笔记：MIT 6.824

分布式的基础设施：存储常见的HDFS通信计算常见的如MapReduce实现上：RPC线程并发控制分布式关注的重点：性能（Performance）可拓展性（Scalability）2倍的机器，2倍的性能容错（FaultTolerance）可用性（Availability）常见的5个9可恢复性（Recoverability）另外提到了2个关键词：NVstorage非易失性存储如硬盘、SSD等Repli
elon_wen·2023-10-31 01:03

「实验记录」MIT 6.824 Lab4A Sharded Master

#Lab4A-ShardedMasterI.SourceII.MyCodeIII.MotivationIV.SolutionS1-client的Join/Leave/Move/Query请求S2-common定义Config和RPCS3-server回应请求V.ResultI.SourceMIT-6.8242020课程官网Lab4:ShardedKey/ValueService实验主页simvis
士全·2023-10-30 02:10

分布式之MapReduce——解读《MapReduce》

2021-12-2217:36:29论文：DeanJ,GhemawatS.MapReduce:Simplifieddataprocessingonlargeclusters[J].2004.前言MIT6.824
dounine·2023-10-10 20:26

Gap Year Plan

GapYearPlangapyear几个大方向健康60KG10+新朋友钱+5WRMB基本常识、社会机制补齐开网店英语TOELF日常交流&面试口语ScienceResearchWriting2nd课程科研常识CMU15-445MIT6.824CMU15
鱼竿钓鱼干·2023-10-10 04:43

[MIT6.824] Lab 3: Fault-tolerant Key/Value Service

[MIT6.824]Lab3:Fault-tolerantKey/ValueService目标通过在Lab2中实现的Raft库，构建一个可容灾的KV数据库。
love is sour·2023-10-06 18:44

[MIT6.824] Spring2021 Lab 2: Raft

0x1ReadingPaperRaft协议感觉目标很简单：保证分布式系统的一致性和可用性，在阅读时，我联想到之前看的ARIES论文，感觉思维有很多共通之处，比如如何通过非易失性存储来保证持久性。但是ARIES中是单个机器崩溃导致内存内容丢失，通过硬盘上的LOGs来重做数据库，并且ABORT掉未提交的记录并写入CLR。Raft中，可能是多台机器崩溃，这个时候就要考虑在崩溃期间，其他机器增加log的操
love is sour·2023-09-25 11:07

一点关于golang闭包机制的思考

0.序在MIT的6.824的第二节课中，一段展示并发golang爬虫代码很有意思，查阅了一些关于闭包的资料，结合自己的调试结果，记录一下。
passenger12234·2023-09-10 00:40

MIT 6.824 Distributed Systems - MapReduce笔记

课程主页：https://pdos.csail.mit.edu/6.824/index.html课程安排：https://pdos.csail.mit.edu/6.824/schedule.html（有资料
灰fw·2023-09-06 21:13

2022 Spring MIT6.824 Lab MapReduce

MapReduce结果提交结果查看结果参考链接GithubLec1:学习笔记如何优雅的打日志LabGuidanceMapReducePager实验链接https://pdos.csail.mit.edu/6.824
codefreestyle·2023-09-04 18:10

6.824 lab1

***Startingwctest.---wctest:PASS***Startingindexertest.---indexertest:PASS***Startingmapparallelismtest.---mapparallelismtest:PASS***Startingreduceparallelismtest.---reduceparallelismtest:PASS***Start
csjue·2023-09-04 18:10

MIT - 6.824 全课程 + Lab 博客总览

文章目录前言MIT-6.824全课程+Lab博客总览MIT-6.824课程笔记MIT-6.5840全Lab博客总览前言Hi,there,welcometomyblog写这篇博客的原因呢，是因为我最近刚开始接触分布式这块的内容
JehanRio·2023-09-04 18:10

MIT6.824 lab1

6.824Lab1:MapReduceSpring2018lab1链接博客的markdown文件step1安装go并设置环境变量$wget-qO-https://dl.google.com/go/go1.13.6
最佳损友1020·2023-09-04 18:39

【超级详细论文解说与代码实现】mit 6.824 分布式系统实现 Spring 2023—lab1

论文回顾mapreduce架构严格来讲，MapReduce是一种分布式计算模型，用于解决大于1TB数据量的大数据计算处理。著名的开源项目Hadoop和Spark在计算方面都实现的是MapReduce模型。从论文中可以看到花了不少篇幅在讲解这个模型的原理和运行过程，但同时也花了一点篇幅来讲解处理分布式系统实现中可能遇到的问题。MapReduce的模型设计很容易进行水平横向扩展以加强系统的能力，基本分
【阿冰】·2023-09-04 18:39

6.824-Spring2021-lab1-MapReduce（实验翻译）

原文链接：https://pdos.csail.mit.edu/6.824/labs/lab-mr.htmlIntroduction你将在这个实验构建MapReduce系统。
hh_is_vegetable·2023-09-04 18:09

MIT 6.824 Lab1 MapReduce实现 2020 Spring

一、环境准备1.Linux系统2.Go环境的安装二、准备实验的代码通过课程地址获取https://pdos.csail.mit.edu/6.824/labs/lab-mr.html$gitclonegit
S-U-M-M-E-R·2023-09-04 18:09

MIT6.824 Spring2021 Lab 1: MapReduce

文章目录0x00准备0x01MapReduce简介0x02RPC0x03调试0x04代码coordinator.gorpc.goworker.go0x00准备阅读MapReduce论文配置GO环境因为之前没用过GO,所以先在网上学了一下语法ATourofGo感觉Go的接口和方法的语法和C++挺不一样,并发编程也挺有意思0x01MapReduce简介需要实现master和coordinator。Ma
love is sour·2023-09-04 18:38
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他