大数据4 - 分布式计算

1.分布式计算概述

分散->汇总模式：

1. 将数据分片，多台服务器各自负责一部分数据处理

2. 然后将各自的结果，进行汇总处理

3. 最终得到想要的计算结果

1. 什么是计算、分布式计算？

• 计算：对数据进行处理，使用统计分析等手段得到需要的结果

 

• 分布式计算：多台服务器协同工作，共同完成一个计算任务

2. 分布式计算常见的2种工作模式

• 分散 -> 汇总  （ MapReduce 就是这种模式）

• 中心调度 -> 步骤执行 （大数据体系的 Spark 、 Flink 等是这种模式）

2.MapReduce概述 

 分布式计算框架 - MapReduce

MapReduce是“分散->汇总”模式的分布式计算框架，可供开发人员开发相关程序进行分布式数据计算。

MapReduce提供了2个编程接口：

• Map

• Reduce

其中

• Map 功能接口提供了 “ 分散 ” 的功能， 由服务器分布式对数据进行处理

• Reduce 功能接口提供了 “ 汇总（聚合） ” 的功能，将分布式的处理结果汇总统计

用户如需使用MapReduce框架完成自定义需求的程序开发

只需要使用Java、Python等编程语言，实现Map Reduce功能接口即可。

MapReduce执行原理：

一个案例，简单分析一下，MapReduce是如何完成分布式计算的。

假设有如下文件，内部记录了许多的单词。且已经开发好了一个MapReduce程序，功能是统计每个单词出现的次数。

 

 MapReduce执行原理：

假定有4台服务器用以执行MapReduce任务

可以3台服务器执行Map，1台服务器执行Reduce

 

1. 什么是MapReduce

• MapReduce 是 Hadoop 中的分布式计算组件

• MapReduce 可以以分散 -> 汇总（聚合）模式执行分布式计算任务

2. MapReduce的主要编程接口

• map 接口，主要提供 “ 分散 ” 功能，由服务器分布式处理数据

• reduce 接口，主要提供 “ 汇总 ” 功能，进行数据汇总统计得到结果

• MapReduce 可供 Java 、 Python 等语言开发计算程序

• 注： MapReduce 尽管可以通过 Java 、 Python 等语言进行程序开发，但当下年代基本没人会写它的代码了，因为太过时了。   尽管 MapReduce 很老了，但现在仍旧活跃在一线，主要是 Apache Hive 框架非常火，而 Hive 底层就是使用的 MapReduce 。 所以对于 MapReduce 的代码开发，课程会简单扩展一下，但不会深入讲解，对 MapReduce 的底层原理会放在 Hive 之后，基于 Hive 做深入分析。

3. MapReduce的运行机制

• 将要执行的需求，分解为多个 Map Task 和 Reduce Task

• 将 Map Task 和 Reduce Task 分配到对应的服务器去执行

 

3.YARN概述 

MapReduce是基于YARN运行的，即没有YARN”无法”运行MapReduce程序

 

 

 

 

 

 

 

YARN的资源调度

YARN 管控整个集群的资源进行调度， 那么应用程序在运行时，就是在YARN的监管（管理）下去运行的。

这就像：全部资源都是公司（YARN）的，由公司分配给个人（具体的程序）去使用。

比如，一个具体的MapReduce程序。

我们知道， MapReduce程序会将任务分解为若干个Map任务和Reduce任务。

假设，有一个MapReduce程序， 分解了3个Map任务，和1个Reduce任务，那么如何在YARN的监管（管理）下运行呢？

 

 

1. YARN是做什么的？

• YARN是Hadoop的一个组件

• 用以做集群的资源（内存、CPU等）调度

2. 为什么需要资源调度

• 将资源统一管控进行分配可以提高资源利用率

3. 程序如何在YARN内运行

• 程序向 YARN 申请所需资源

• YARN 为程序分配所需资源供程序使用

4. MapReduce和YARN的关系

• YARN 用来调度资源给 MapReduce 分配和管理运行资源

• 所以， MapReduce 需要 YARN 才能执行（普遍情况）

 4. YARN架构

1. 掌握 YARN 的运行角色和角色之间的关系

2. 理解使用容器做资源分配和隔离

 

 

 

 

 

 

 

1. YARN的架构有哪2个角色？

• 主（Master ）： ResourceManager

• 从（Slave ）： NodeManager

2. 两个角色各自的功能是什么？

• ResourceManager ： 管理、统筹并分配整个集群的资源

• NodeManager ：管理、分配单个服务器的资源，即创建管理容器，由容器提供资源供程序使用

3. 什么是YARN的容器？

• 容器（ Container ）是 YARN 的 NodeManager 在所属服务器上分配资源的手段

• 创建一个资源容器，即由 NodeManager 占用这部分资源

• 然后应用程序运行在 NodeManager 创建的这个容器内

• 应用程序无法突破容器的资源限制

• ps ：容器是虚拟化的相关机制，后续我们会详细讲解

 

 YARN辅助角色

YARN的架构中除了核心角色，即：

• ResourceManager ：集群资源总管家

• NodeManager ：单机资源管家

还可以搭配2个辅助角色使得YARN集群运行更加稳定

• 代理服务器 ( ProxyServer ) ： Web Application Proxy Web 应用程序代理

• 历史服务器 ( JobHistoryServer ) ： 应用程序历史信息记录服务

•

 

YARN的架构有哪些角色

• 核心角色： ResourceManager 和 NodeManager

• 辅助角色： ProxyServer ，保障 WEB UI 访问的安全性

• 辅助角色： JobHistoryServer ，记录历史程序运行信息和日志