MIT6.824

MIT6.824 课程-MapReduce

MapReduce：在大型集群上简化数据处理概要MapReduce是一种编程模型，它是一种用于处理和生成大型数据集的实现。用户通过指定一个用来处理键值对(Key/Value)的map函数来生成一个中间键值对集合。然后，再指定一个reduce函数，它用来合并所有的具有相同中间key的中间value。现实生活中有许多任务可以通过该模型进行表达，具体案例会在论文中展现出来。以这种函数式风格编写的程序能够
余为民同志·2024-09-11 00:31

CMU15-440-P0:Implementing a key-value messaging system

15-440是CMU的一个分布式课程http://www.cs.cmu.edu/~15-440/syllabus.html，其实之前在学校的时候就上过分布式的课程，当时用的MIT6.824的课件，可惜当时很多
sdj222555·2024-02-11 05:03

redis持久化

持久化：可以理解为mit6.824教的主从备份机制，状态转移对应RDB，复制状态机对应AOF，RDB是全部数据的二进制快照文件，AOF是文本追加的日志。
背帆·2024-02-08 15:42

MIT 6.5830 概述

简介同MIT6.824系列类似，6.4830是关于DatabaseSystem的一门课程，官方主页链接。从课程信息可知，理论课分为21个课时，3个问题集，4个实验，1个项目。
一颗小小的石头.·2024-02-01 19:33

CMU 15445 Project 2A 实现并发B+树的数据库索引（查询和插入）

但和MIT6.824那样一步步手把手指导，还是会不同。这边我重点挑我认为不是无脑就可以实现的部分写。
西部小笼包·2023-12-27 23:55

MIT 6.824 练习1

这是一份根据MIT6.824(2021)课程的第2课的课堂示例代码改编的2个go语言编程练习。
Daniel_187·2023-12-22 13:56

mit6.824 2022 lab2

MIT6.8242022RaftRaftleaderelectionlogpersistencelogcompaction整体测试后面发现的问题参考代码汇总博客：MIT6.8242022Raftleaderelection不论是访问还是修改Raft可变类成员，都需要加锁rf.mu.Lock()ifrf.state!=Leader{rf.mu.Unlock()return}args:=AppendE
最佳损友1020·2023-11-25 17:18

分布式之MapReduce——解读《MapReduce》

date:2021-12-2217:36:29论文：DeanJ,GhemawatS.MapReduce:Simplifieddataprocessingonlargeclusters[J].2004.前言MIT6.824
dounine·2023-10-10 20:26

[MIT6.824] Lab 3: Fault-tolerant Key/Value Service

[MIT6.824]Lab3:Fault-tolerantKey/ValueService目标通过在Lab2中实现的Raft库，构建一个可容灾的KV数据库。
love is sour·2023-10-06 18:44

[MIT6.824] Spring2021 Lab 2: Raft

0x1ReadingPaperRaft协议感觉目标很简单：保证分布式系统的一致性和可用性，在阅读时，我联想到之前看的ARIES论文，感觉思维有很多共通之处，比如如何通过非易失性存储来保证持久性。但是ARIES中是单个机器崩溃导致内存内容丢失，通过硬盘上的LOGs来重做数据库，并且ABORT掉未提交的记录并写入CLR。Raft中，可能是多台机器崩溃，这个时候就要考虑在崩溃期间，其他机器增加log的操
love is sour·2023-09-25 11:07

2022 Spring MIT6.824 Lab MapReduce

文章目录Lec1:学习笔记实验链接实验Lab:MapReduce结果提交结果查看结果参考链接GithubLec1:学习笔记如何优雅的打日志LabGuidanceMapReducePager实验链接https://pdos.csail.mit.edu/6.824/labs/lab-mr.html实验Lab:MapReduce实验目的是为了让我们实现MapReduce的框架，且代码给了很多MapRed
codefreestyle·2023-09-04 18:10

MIT6.824 lab1

6.824Lab1:MapReduceSpring2018lab1链接博客的markdown文件step1安装go并设置环境变量$wget-qO-https://dl.google.com/go/go1.13.6.linux-amd64.tar.gz|sudotarxz-C/usr/localvim/etc/profile#在最后一行添加exportGOROOT=/usr/local/goexpo
最佳损友1020·2023-09-04 18:39

MIT6.824 Spring2021 Lab 1: MapReduce

文章目录0x00准备0x01MapReduce简介0x02RPC0x03调试0x04代码coordinator.gorpc.goworker.go0x00准备阅读MapReduce论文配置GO环境因为之前没用过GO,所以先在网上学了一下语法ATourofGo感觉Go的接口和方法的语法和C++挺不一样,并发编程也挺有意思0x01MapReduce简介需要实现master和coordinator。Ma
love is sour·2023-09-04 18:38

MIT 6.824 lab1 mapreduce

经过一段时间的了解这个MIT6.824，真的深深感觉，见识越多，就越知道自己有多菜。
小满锅lock·2023-08-29 07:53

【分布式】VMware FT概要

以下简要讲述一些关键点，来源于MIT6.824课程，翻译版本https://mit-public-courses-cn-translatio.gitbook.io/mit6-824/lecture-04
kkzz1x·2023-08-25 07:27

如何系统学习分布式？

提到分布式系统，非常经典学习资料肯定首推MIT6.824（即MIT分布式系统课程）基础的数据结构以及操作系统和计算机网络肯
python小小Q·2023-07-14 03:58

MIT6.824 lab3A&B记录

实验目标：基于raft日志复制算法实现的线性一致性kv存储引擎。线性一致性：所有的读操作都能够读取到最近一次写操作的结果。所有节点（或者进程）在同一时刻，看到的数据都是相同的。简而言之，线性一致性保证所有的操作在系统中是按照其提交的顺序进行执行的，因此，在任何时刻，对于任意一个节点或进程所提出的读操作，都应该返回最新提交的写操作的结果。当一个节点或进程发出一个写操作之后，其他节点或进程必须立即且无
boring_111·2023-04-21 17:28

MIT6.824 Lecture18 Fork Consistency

Background拜占庭问题（ByzantineGeneralsProblem）得名于一个古老的传说，讲述了拜占庭帝国在战争中的一个失败策略。在这个故事中，多名拜占庭将军要协调进攻或撤退的行动，但是其中一些将军可能会向其他帝国泄露假消息或者出现背叛等行为。这使得其他将军面临了一个难题：应该相信哪些将军的指令才是可靠的？类比到计算机领域，拜占庭问题就是指在分布式系统中，由于存在节点失效、网络延迟等
boring_111·2023-04-21 17:22

MIT6.824 lab2 bug补充记录以及心得

1.对于一个channel，如果是buffer的话，正确性不能因为buffer的大小而影响，这样不是个好设计，尽量使用没buffer的channel.2.之所以之前用了bufferchannel，是因为活锁问题。对于活锁可能导致的状态不一致，可以通过存临时变量来解决，当然这样要看情况。同时对于日志apply顺序的保障是一个apply协程来提交。然后applysnapshot在applysnapsh
boring_111·2023-04-20 19:18

MIT6.824 lab2C&2D实验总结

2C就是持久化一些变量，日志，任期，投票给谁，2D(lastincludeterm,lastincludeindex,snapshot)。同时最难受的是Figure8Unreliable这个测试点，总是几百次出现一两个错误。最后发现是对论文一句话的歧义。这里讲解一下figure8这张图主要是发现了一个问题，就是在b阶段，1是term3，然后减s3,s4也提到3，变成leader，得到一个comma
boring_111·2023-04-16 21:37

design\project\学习 ZooKeeper 读书笔记

ZooKeeper概述ZooKeeper的强一致性设计目标简单：可靠：强一致性：高效：节点数据模型瞬时节点顺序节点watches监听器API架构集群配置使用场景分布式的，高性能的协调服务对强一致性的理解参考链接：MIT6.824
踢踢vip·2023-04-15 20:15

MIT6.824 Memcache

目的：由于二八定律的存在，总是少数人在创造内容而大部分人在消费内容，所以脸书的请求的大头是读求取，因此脸书的工程师需要对读请求进行特别的优化。利用缓存来减低数据库的读压力。读写操作示意图减少延迟1.利用批处理减少往返次数。服务器端对收到的一堆请求进行有向拓扑图分析，选出独立的请求，将多个独立请求进行打包，进行访问。Batching也是降低成本的常见技巧2.其中get是使用UDP进行通讯，只要set
boring_111·2023-04-13 22:16

MIT6.824---lab环境准备(linux下安装golang,goland)

前言：MIT6.824是分布式领域的神课，除了课程内容，其中的4个lab更是广受好评，它不但很难、很复杂，而且提供了充分的材料和指引，让这样的难和复杂是可达的，是有意义的。
十八画_生·2023-04-06 19:15

MIT 6.824 学习（三）【KV Raft】

文章目录一、概述二、实现2.1KVServer2.2Get2.3Put/Append三、扩展3.1LSMTree3.1.1基础结构3.1.2Compact一、概述实验内容来自MIT6.824的lab3，
A.iguodala·2022-12-24 07:22

分布式相关知识

本文是我在结合MIT6.824课程和网上诸多博客、课程的内容进行的总结参考博客太多，就不写引用了几个概念集群(部署方式)：在多台不同的服务器中部署相同应用或服务模块，构成一个集群，通过负载均衡器对外提供服务
最 上 川·2022-11-27 11:16

MIT 6.824(Spring 2020) Lab1: MapReduce 文档翻译

MIT6.824是麻省理工大学开设的一门关于分布式系统的明星课程，共包含四个配套实验，实验的含金量很高，十分适合作为校招生的项目经历，在文章《2022双非应届CS硕士校招上岸字节跳动（校招总结）》中，我也将其推荐给了各位读者
努力学习的阿新·2022-05-31 19:00

MIT 6.824 分布式系统课程lab实现 (1) 准备工作

前言关于MIT6.824分布式系统这一门课程就不再赘述.计划写本博客的目的是在完成了lab1之后,发现实现的代码中处处是调试用的Printf以及与最初设计想法不符合的实现导致的混乱修改痕迹.因此计划在完善代码的同时在博客上记录整理自己的思路
·2022-03-24 15:21

使用Channel时的注意

最近在写MIT6.824课程，在Lab1的partIII这里，遇到一个关于channel的bug，特此记录先上代码packagemapreduceimport("fmt""sync")////schedule
西元前__YP·2022-02-12 23:32

MIT6.824 分布式系统实验

LAB1mapreducemapreduce中包含了两个角色，coordinator和worker，其中，前者掌管任务的分发和回收，后者执行任务。mapreduce分为两个阶段，map阶段和reduce阶段。map阶段对应的是map任务。coordinator将会把任务分成多个部分，例如，有多个文件待处理，则每个文件的处理是一个任务。coordinator根据待处理文件生成多个任务，将这些任务用a
妙妙园·2021-12-06 23:00

来学习！五个免费充电资源

（本次推荐课程适合有一定编程基础的同学）分布式系统主讲人：FransKaashoek大名鼎鼎的MIT6.824分布式系统（DistributedSystems）课程，授课内容使用Go语言。
·2021-10-07 10:38

Raft 选举实现（一）

当时自己从github上下载mit6.824的代码跟着课程详解做到了lab2b，然后就放弃了，然后紧接着开始浑浑噩噩的生活，最近觉得自己不能就这么堕落下去，才有了这篇文章。
Unyielding_L·2021-06-13 18:02

Raft学习传送门

官方可视化动画2论文中文翻译论文英文地址PaxosMadeSimple论文翻译Raft理解技术分享《分布式一致性raft算法实现原理》状态机MIT：raft实现分布式系统学习2-Raft算法分析与实现分布式系统MIT6.824
molscar·2021-06-13 06:08

MIT6.824 Lab2B TestBackup2B 分析

TestBackup2B分析：1.01234Alladdalogandcommitl1leader00:1:2:3:4:2.2,3,4offline0,1addalogbutnotcommit010:,1:,2:3:4:3.0,1offline2,3,4reconnect,maybeleader2andleader'stermchange,addalogl3andcommit.leader2234
东京的雨不会淋湿首尔·2021-06-09 22:04

分布式系统一致性问题与Raft算法（上）

最近在做MIT6.824的几个实验，真心觉得每一个做分布式相关开发的程序员都应该去刷一遍（裂墙推荐），肯定能够提高自己的技术认知水平，同时也非常感谢MIT能够把这么好的资源分享出来。
大数据_zzzzMing·2021-06-08 20:43

Go语言入门

企业软件ERP系统MIT6.824内存溢出，指针，还有很多问题。Ro
keaidelele·2021-04-24 06:28

非科班CS实践自学法

2.计算机组成原理+操作系统这一块比较底层，难度比较大，CMU深入理解计算机系统，MIT6.824,哈工大，南大课程实验。
wwxy261·2020-12-31 00:25

MIT6.824实验-Lab3A

实验内容server.go:添加Op结构,其描述了一个Get\Put\Append操作和值client.go:使用.Start(),完善Put(),Append(),Get()等rpchandler.Hint调用Start()后，应该等待raft达成aggrement.kvserver和raft的applyer容易形成死锁要格外注意,leader在提交log之前失去了leadership,这可能被
Tsukami·2020-08-24 15:50

MIT6.824分布式系统课程 翻译&学习笔记（一）介绍 & MapReduce【持续更新中】

说明本系列文章是对大名鼎鼎的MIT6.824分布式系统课程的翻译补充和学习总结，算是自己一边学习一边记录了。如有疏漏错误，还请指正：）持续更新ing。。。
raesnow·2020-08-21 15:30

MIT6.824分布式系统课程 翻译&学习笔记（一）介绍 & MapReduce【持续更新中】

说明本系列文章是对大名鼎鼎的MIT6.824分布式系统课程的翻译补充和学习总结，算是自己一边学习一边记录了。如有疏漏错误，还请指正：）持续更新ing。。。
raesnow·2020-08-21 13:34

Raft学习传送门

官方可视化动画2论文中文翻译论文英文地址PaxosMadeSimple论文翻译Raft理解技术分享《分布式一致性raft算法实现原理》状态机MIT：raft实现分布式系统学习2-Raft算法分析与实现分布式系统MIT6.824
weixin_34355715·2020-08-21 06:28

Google File System 学习总结

趁着4月份找实习的契机，学习了MIT6.824的课程推荐论文GoogleFileSystem。篇幅很长，感觉不是完全理解了，先转载了一篇觉得整理得比较好的笔记，方便后续的进一步学习。
Mind_V·2020-08-17 11:17

MIT6.824 分布式系统第一课内容提要

Whatisadistributedsystem?multiplecooperatingcomputersstorageforbigwebsites,MapReduce,peer-to-peersharing,&clotsofcriticalinfrastructureisdistributed什么是分布式系统？多台协同计算机大型网站的存储、MapReduce、对等共享和c许多关键的基础设施都是分
wwxy261·2020-08-16 04:08

开箱一个翻译器

背景:为了准备联创Lab组的面试,我准备啃一啃MIT6.824分布式课程,但是…还是有好多单词不认识哇,你说用google翻译吧,就像下图这样子这个网页是在是太占空间了,挡到了好多东西…我这个强迫症受不了
汪阿少二少·2020-08-16 03:06

MIT6.824 第二课RPC k-v数据库

要仔细去看Go的RPCfuncmain(){server()put("subject","6.824")fmt.Printf("Put(subject,6.824)done\n")fmt.Printf("get(subject)->%s\n",get("subject"))}开始启动了RPC服务，这里用了Go的RPC框架，要去参考相应代码funcserver(){kv:=new(KV)kv.dat
wwxy261·2020-08-14 12:19

MIT6.824 第二课分布式爬虫代码详解

funcmain(){fmt.Printf("===Serial===\n")Serial("http://golang.org/",fetcher,make(map[string]bool))fmt.Printf("===ConcurrentMutex===\n")ConcurrentMutex("http://golang.org/",fetcher,makeState())fmt.Print
wwxy261·2020-08-14 12:18

MIT6.824 Lab1 MapReduce

Introduction本次实验主要是用go语言来实现1个MapReduce库，并且了解分布式系统的容错机制，推荐先看一下MapReduce的论文[MapReduce]主要机制如下图：Mapworker读入1个文件，处理后生成n(reduceworker数目)个中间文件，然后每个Reduceworker读取其对应的所有中间文件，处理后生成1个结果文件，最后n个结果文件可以merge成1个最终结果文
bysui·2020-08-14 09:11

MIT6.824 Lab2 Raft（1）

Introduction本次实验主要是用go语言实现简单的raft算法，熟悉一下分布式系统的一致性算法，这次实验实现的raft算法是后续实验的基础。推荐可以先看一下一个介绍raft的flash网站raft。replicated服务(比如键值对数据库)使用raft算法来帮助管理replica节点。使用replica的目的是当系统中的部分replica节点down掉或者网络连接挂了时系统仍然能提供服务
bysui·2020-08-14 09:11

MIT6.824 分布式系统之lab1 mapReduce

本篇博文记录了我的lab1实现原理，思路以及答案。希望对大家有所帮助，也希望大家踊跃的指出错误和欢迎提出更好的思路算法。共勉。前言首先在做本实验之前，必须先阅读mapReduce论文《MapReduce:SimplifiedDataProcessingonLargeCluster》能看懂英文原版的当然看英文最好，看不懂的网上也有很多翻译版，大家自行查阅。可能翻译版都是靠翻译软件翻译的，很多地方有逻
段长风·2020-08-13 17:47

[总结]MIT-6.824分布式课程-Mapduce实验

MIT6.824分布式系统课程，是一门著名的讲解分布式系统设计原理的课程。通过课程讲解和实验结合来学习分布式系统设计原理，实验和课程安排见课程表。前言我为什么要学习这个课程？
hoohack·2020-08-13 13:46

MIT6.824 分布式系统 lab1

自然同样是麻省理工久负盛名的分布式系统课程MIT6.824就顺理成章的加入了todolist。值得议一提的是，这两门课程都是同一个实验室出品，实在是良心。
Tommylwp·2020-08-13 12:01
上一页 1 2 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他