6.824

2017 6.824学习笔记 Lecture 1: Introduction

什么是分布式系统？多个计算机进行协作大规模数据库，P2P文件共享，MR，DNS等等许多重要的基础设施是分布式的为什么要使用分布式？连接物理隔离的实体通过隔离取得安全性通过副本机制容忍故障可水平扩展资源提高生产力实现中的困难？许多并发问题处理局部故障难以实现理论性能主题关于分布式程序背后的三大抽象方面：存储通信计算话题：实现RPC，threads，concurrencycontrol话题：性能目标：
openex·2019-12-31 15:13

2017 6.824学习笔记 Lecture 2: RPC and threads

线程线程是非常有用的构建工具再Go中线程称为goroutines，其他语言中叫做线程他们通常比较棘手为什么使用线程？允许利用并发，这在分布式系统中很自然的体现出来再I/O并发中，允许在等待一个IO响应时，处理下一个请求多线程可以平行运行在多核上Thread="threadofexecution"线程允许一个程序在逻辑上一次执行许多事情线程间有共享内存每个线程包含自己的运行状态：程序计数器寄存器栈一
openex·2019-12-30 09:21

MapReduce 6.824 学习笔记

map函数和reduce函数这两个函数是交给用户实现的，这两个函数定义了任务本身。map函数：接受一个键值对（key-valuepair），产生一组中间键值对。MapReduce框架会将map函数产生的中间键值对里键相同的值传递给一个reduce函数。reduce函数：接受一个键，以及相关的一组值，将这组值进行合并产生一组规模更小的值（通常只有一个或零个值）。统计词频的MapReduce函数的核心
莫Y兮·2019-12-28 03:02

6. 基于RAFT 实现容错KV服务（3B）

第一步阅读相关需求https://pdos.csail.mit.edu/6.824/labs/lab-kvraft.html的PartB:Key/valueservicewithlogcompaction
西部小笼包·2019-12-24 22:23

6.824 分布式系统 lab2 Part A

全部代码在我的GitHub，本文只做分析。简介该部分主要是要求完成server选举的相关功能，暂时不牵涉到log。重点阅读论文的5.1以及5.2，结合Figure2食用。首先强调一下整体架构。在课程给出的框架体系中，Raft这个结构体是每个server持有一个的，作为状态机的存在。每个server功能是完全一样的，只是状态不同而已。我们定义了三种状态：FollowerCandidateLeader
找不到工作·2019-12-06 08:47

MIT6.824分布式系统的正确食用方式（lab1.MapReduce）

hello，我就以做lab1的流程为目录，记录一下我做lab1的时候收获的和容易出错的地方。1.阅读MapReduce.2004论文，理解mapreduce2.了解go语言，使用gitclone源代码3.阅读源码，了解程序的执行流程4.按步骤开始做实验1.阅读MapReduce.2004论文，理解mapreduce关于mapreduce，我认为主要关注以下几点。a.是一种编程框架，将任务分解成多份
trecool·2019-12-01 11:04

6.824——实验一Part II: Single-worker word count

这部分很简单，前面我们是调用的代码已经写好的mapF函数和reduceF，所以这一部分就相当于要我们自己实现自定义的map和reduce函数，map函数用来生成键值对序列，reduce函数用来统计词频。map函数funcmapF(filenamestring,contentsstring)[]mapreduce.KeyValue{//Yourcodehere(PartII).words:=stri
Kevin照墨·2019-09-17 12:20

6.824——实验一Part I: Map/Reduce input and output

这一部分实验主要就是完成map原始文件（input）到中间文件（intermediateFile），然后reduce中间文件到输出文件（output）的功能，相当于是map函数和reduce函数的具体调用，分别生成中间文件和结果文件的阶段。1.doMapfuncdoMap(jobNamestring,//thenameoftheMapReducejobmapTaskint,//whichmapta
Kevin照墨·2019-09-17 09:41

6.824 分布式系统 lab2 Part C

全部代码在我的GitHub，本文只做分析。简介这部分主要是做Raft的持久化，如果仅将状态保存在内存中，如果server挂了那就凉了。在实际的系统中，每次改变Raft状态后我们会将其存在硬盘上，并且在重启时读取。在本实验中，我们将用一个Persister结构体代替硬盘，调用Raft.Maker()时需要提供一个Persister，Raft会利用它进行初始化(Persister.ReadRaftSt
找不到工作·2019-08-12 21:48

6.824 分布式系统 lab2 Part C

全部代码在我的GitHub，本文只做分析。简介这部分主要是做Raft的持久化，如果仅将状态保存在内存中，如果server挂了那就凉了。在实际的系统中，每次改变Raft状态后我们会将其存在硬盘上，并且在重启时读取。在本实验中，我们将用一个Persister结构体代替硬盘，调用Raft.Maker()时需要提供一个Persister，Raft会利用它进行初始化(Persister.ReadRaftSt
找不到工作·2019-08-12 21:48

6.824 分布式系统 lab2 Part B

全部代码在我的GitHub，本文只做分析。简介在lab2partA中，我们实现了选举相关的逻辑，保证了无论什么情况下系统中有且仅有一个合法的Leader存在（确实有可能存在多个Leader，比如一个Leader刚从错误中恢复，以Leader身份重连，但是它不是合法的）。这个Leader将负责管理replicatedlog。它从客户端接收logentries，然后告诉服务器什么时候可以安全地appl
找不到工作·2019-08-12 21:05

6.824 分布式系统 lab2 Part B

全部代码在我的GitHub，本文只做分析。简介在lab2partA中，我们实现了选举相关的逻辑，保证了无论什么情况下系统中有且仅有一个合法的Leader存在（确实有可能存在多个Leader，比如一个Leader刚从错误中恢复，以Leader身份重连，但是它不是合法的）。这个Leader将负责管理replicatedlog。它从客户端接收logentries，然后告诉服务器什么时候可以安全地appl
找不到工作·2019-08-12 21:05

5. 基于RAFT 实现容错KV服务（3A）

第一步阅读文档https://pdos.csail.mit.edu/6.824/labs/lab-kvraft.html阅读第8章https://www.infoq.cn/article/raft-paper
西部小笼包·2019-05-06 18:21

MIT 6.824 lab1： mapreduce 学习总结

这是MIT6.824课程lab1的学习总结，记录我在学习过程中的收获和踩的坑。
孤鸿子_·2019-04-06 14:05

MIT-6.824 Lab 3: Fault-tolerant Key/Value Service

概述lab2中实现了raft协议，本lab将在raft之上实现一个可容错的k/v存储服务，第一部分是实现一个不带日志压缩的版本，第二部分是实现日志压缩。时间原因我只完成了第一部分。设计思路如上图，lab2实现了raft协议，本lab将实现kvserver。每个raft都关联一个kvserver，Clerks发送Put(),Append(),Get()RPC给leader服务器中的kvserver，
gatsby123·2019-03-22 20:00

MIT-6.824 lab1-MapReduce

概述本lab将用go完成一个MapReduce框架，完成后将大大加深对MapReduce的理解。PartI:Map/Reduceinputandoutput这部分需要我们实现common_map.go中的doMap()和common_reduce.go中的doReduce()两个函数。可以先从测试用例下手：funcTestSequentialSingle(t*testing.T){mr:=Sequ
gatsby123·2019-03-20 20:00

MIT-6.824 MapReduce

概述MapReduce是由JeffreyDean提出的一种处理大数据的编程模型，用户定义map和reduce函数，map函数处理原始数据生成一系列键值对中间数据，reduce函数并合相同key的键值对。编程模型整个计算过程输入的是键值对，输出的也是键值对。用户只需要提供两个函数分别是Map和Reduce。比如要统计大数据文本中的词频，我们可以写出如下的Map和Reduce函数：map(String
gatsby123·2019-03-20 17:00

一文看尽 Raft 一致性协议的关键点

把一致性协议从“阳春白雪”变成了让普通学生、IT码农等都可以上手试一试玩一玩的东西，MIT的分布式教学课程6.824都是直接使用Raft来介绍一致性协议。从论文InSearchofA
cpongo2·2019-03-19 11:17

系统架构-分布式系统的简单经验

最近在跟着MIT6.824课程学习分布式系统的各种理论原理，这里就来简单总结下分布式系统中的一些基础内容吧~CAPTheoryCAPTheory阐述了分布式系统中的一个事实：一致性(Consistency
Odyssues_lee·2019-03-12 20:13

MIT6.824 Lab1 MapReduce

Software代码仓库的URL是git://g.csail.mit.edu/6.824-golabs
小睿千万别秃头·2018-12-24 19:35

飞龙的计算机公开课推荐

主页中文版教材数据结构·算法斯坦福CS106bUCBcs61b普林斯顿Algs4MIT6.006系统nand2tetrisCMU15-213主页笔记MIT6.828主页中文版教材UCBCS61cMIT6.824
飞龙·2018-02-23 00:00

6.824 Lab 3: Fault-tolerant Key/Value Service Part-A

Introduction该实验是mit6.824课程的第3个实验，基于raft协议完成一个key-value系统实验分为A和B两个部分，在PartA中：我们不考虑日志的大小，在PartB中会完成快照功能完整的代码地址课程地址实验地址已经有的实验地址
小聪明李良才·2017-12-04 06:32

分布式系统学习2-Raft算法分析与实现

之前在容器服务化的时候用到Consul，顺带看了Raft算法的论文，然后为了练手Go语言做了mit6.824分布式系统课程的lab2。
__七把刀__·2017-10-19 00:37

6.824 Note1: MapReduce (2004)

一：问题背景很多计算任务涉及到海量数据的处理，想要在可以接受的时间内完成计算任务，就必须将这些任务分布到成百上千的机器上运行。如何分发数据，任务调度，处理容错，这些问题需要大量的代码来处理。因此实现一个分布式的任务需要处理任务本身的代码+实现分布式的大量额外代码；为了解决以上问题，MapReduce应运而生。MapReduce是一个编程模型，隐藏了关于并行计算、容错、数据分布、负载均衡这些细节。即
梦工厂·2017-09-12 01:35

关于Golang中for-loop与goroutine的问题详解

背景最近在学习MIT的分布式课程6.824的过程中，使用Go实现Raft协议时遇到了一些问题。分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。
寇池滨·2017-09-04 08:24

mit6.824-(lab2 partA)

github地址：https://github.com/canezk/MIT-6.824/tree/master/src/viewservicePartA:TheViewservicemit-6.824lab2
canezk·2016-12-09 17:01

raft 系列解读(2) 之 测试用例

raft系列解读(2)之测试用例基于mit的6.824课程，github代码地址：https://github.com/zhuanxuhit/distributed-systemcase1：TestInitialElection
超级个体颛顼·2016-10-14 18:55

Lab1: MapReduce

1.前言1.1课程框架代码下载gitclonegit://g.csail.mit.edu/6.824-golabs-20166.8242.Preamble:Gettingfamiliarwiththesource3
okingniko·2016-04-10 11:00

Lecture 2: 基础结构: RPC and threads

6.824课程过去是使用C++的，学生通常会把大量时间花费在与分布式系统设计无关的bugs上。例如：他们释放了那些他们仍在使用的对象。
okingniko·2016-04-06 22:00

案例学习: MapReduce

1.准备工作:阅读MapReduce(2004)2.主要内容MapReduce可以很好的例证6.824课程的主题(分布式系统),而MR也将作为Lab1的主题。
okingniko·2016-04-06 16:00

6.824 Lab 1: A simple web proxy

6.824 Lab 1: A simple web proxy   6.824 - Spring 2004        
·2015-11-13 21:28

MapReduce

MapReduce@authorqcliu@time2015/07/29AbstractMIT6.824Lab1总结。PartI:Wordcount第一个任务是单机版词频统计。
qc1iu·2015-07-30 00:00

资源向导之 Distributed System 计划 #持续更新中# MIT 6.824

资源向导之 DistributedSystem计划#持续更新中#MIT6.824正式准备开辟第二战场...哇咔咔~使用的课程版本是2015年春季最新的.恩,也就是目前在不断更新的课程,嘿嘿...赶上趟了
u011368821·2015-04-30 13:00

6.824 Lab 5: Caching Extents

Introduction In this lab you will modify YFS to cache extents, reducing the load on the extent server and improving YFS performance. The main challenge is to ensure consistency of extents cached at d
·2014-07-11 14:00

Mit 分布式系统导论,Distributed Systems ,lab1 -lab6 总结，实验一到实验六总结

终于把Mit的分布式系统导论课的实验1-6写完了做得有些痛苦,但是收获也很大http://pdos.csail.mit.edu/6.824-2012/labs/index.html把实验1-6用导图做个小结吧
·2013-07-10 11:00
上一页 1 2 3 4 5 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他