分布式计算与Map Reduce

一、分布式计算
1、定义:一个分布式计算系统是通过若干个网络互连的计算机组成的软硬件计算系统，并且这些计算机互相配合完成一个共同任务。

多个处理器共享内存（c）；每个处理器有属于自己的内存（b）。
优点：可扩展、性能好、容错性好（系统故障后，仍然可以恢复任务）
缺点：多台机器管理
二、Map Reduce
1.抽象架构

2.系统架构

Job Client:用户编写的Map Reduce程序通过JobClient提交给JobTracker
Job Tracker:负责资源监控和作业调度，并且监控所有TaskTracker与作业的健康情况，一旦有失败情况发生，就会在相应的任务分配到其他节点上去执行。
Task Tracker:主要负责监控任务进度，并且汇报给Job Tracker.
3.工作调度原理

Map Reducer Application Master:负责分配任务，协调Mapper和Reducer进行运行
Mapper Worker:负责执行 Mapper子任务
Reducer Worker:负责Reduce函数功能，负责汇总Reducer子任务
4.数据处理流程

5.shuffling