20170724_MapReduce和生活_大数据_感想_201707

今天看了MapReduce框架的概论部份,正好联想到生活中的一些相似之处,所以写下来玩玩。。。

1. MapReduce框架的思路在于其三步走:

 - Map:输入Key-Value对,根据Key来分组,输出另一组Key-Value对

 - Shuffle:根据分好组的Key来进行排序,生成Key-Value1, Value2...

 - Reduce:根据排好序后的Key进行Value1, Value2的值的各种计算

2. MapReduce框架的本质是:

 - 任务分工,并行处理。并且每个人处理的部分在Map和Reduce阶段无相互交互。只在Shuffle阶段进行交互,增加效率。

 - 针对特定类型的任务制定策略,从而优化计算流程。

3. MapReduce框架可以给我们的生活带来哪些思考?

 - 时间管理与沟通。并行的效率化工作,需要考虑在哪些阶段进行交互,哪些阶段不需要交互。交互需要很大的成本。生活中就是说:沟通需要很大的成本。要限定只在必要的时间进行沟通。

 - 每个策略都有特定适用的场景。要知道哪些场景适用于该策略,哪些场景不适合该策略。

你可能感兴趣的:(20170724_MapReduce和生活_大数据_感想_201707)