大数据知识扫盲

MapReudece作业启动和运行机制

MapReduce是一种分布式计算框架,最初由Google开发,用于处理大规模数据集的批处理任务。其核心思想是将数据划分为小的块,然后并行处理这些块,最后将结果合并。以下是MapReduce作业的启动和运行机制:

  1. 作业提交
    • 用户或应用程序通过客户端将MapReduce作业提交到集群上的资源管理器(ResourceManager)。
    • ResourceManager负责调度集群上的资源并为作业分配资源。
  2. 划分数据
    • ResourceManager将输入数据划分为若干个输入分片(splits),每个输入分片通常对应一个Mapper任务。
    • 输入分片通常是文件的一部分,例如HDFS中的块(block)。
  3. Map任务
    • ResourceManager为每个Mapper任务分配计算资源,例如节点(NodeManager)。
    • 每个Mapper任务负责处理一个输入分片,对输入数据进行映射和处理。
    • 用户编写的Map函数被用于将输入数据转换为键-值对,将结果写入中间文件。
  4. 中间数据的分组和排序
    • 所有的Mapper任务的中间数据被收集并按键进行分组和排序,以便将相同键的数据发送到相同的Reducer任务。
    • 这个阶段的输出结果通常被分区并存储在分布式文件系统中,以便提供容错性。
  5. Reduce任务
    • ResourceManager为每个Reducer任务分配计算资源。
    • Reducer任务负责从Mapper的中间数据中获取相关的数据,并将它们合并和处理,生成最终的结果数据。
  6. 结果输出
    • Reduce任务的输出结果通常被写入分布式文件系统,例如HDFS。
    • 作业完成后,用户可以访问和分析这些输出结果。
  7. 作业监控和管理
    • ResourceManager和JobTracker(在Hadoop 1.x中使用)或ApplicationMaster(在Hadoop 2.x及之后版本中使用)负责监控作业的进度,处理故障,重新执行失败的任务,并确保作业成功完成。
  8. 清理资源
    • 作业完成后,集群将释放已分配的资源,以便其他作业可以使用它们。

shuffle 在大数据中的重大作用

  1. 数据重分布:shuffle 通常涉及数据的重新分布,将不同的数据分片(分区)重新组合到不同的任务中,以便进行进一步的处理。这是大数据处理中的关键操作,例如,在 MapReduce 或 Spark 中,map 阶段会生成键值对,然后进行shuffle,以便在 reduce 阶段合并和处理相关数据。
  2. 数据排序:在某些情况下,shuffle 可能需要对数据进行排序,以确保 reduce 阶段能够高效地进行数据处理。这对于需要有序数据的任务非常重要。
  3. 数据合并:shuffle 也涉及数据的合并操作,以便在 reduce 阶段将相同键的数据合并在一起。这有助于减少在 reduce 阶段的数据传输量和计算开销。
  4. 数据传输和网络开销:shuffle 涉及将数据从一个节点传输到另一个节点,这通常需要通过网络传输大量数据。因此,shuffle 操作可能会引入大量的网络开销,特别是在大规模分布式系统中。
  5. 数据局部性:为了减少网络开销,shuffle 操作通常会尝试将数据移到尽可能接近要处理它的节点上。这有助于提高数据局部性,减少网络传输。
  6. 性能优化:shuffle 操作的性能对整个大数据处理作业的性能有重大影响。因此,许多分布式计算框架(如Apache Spark)都致力于优化shuffle操作,以提高整体性能。
  7. 数据倾斜处理:在大数据处理中,数据倾斜是一个常见的问题,即某些键的数据量远远超过其他键。shuffle操作通常需要处理数据倾斜,以确保任务的负载均衡,防止某些节点上的任务变得过于繁重。

Yarn 大数据平台资源管理和作业调度框架

Apache Hadoop YARN(Yet Another Resource Negotiator)是一个大数据平台资源管理和作业调度框架,它是 Apache Hadoop 生态系统的一部分。YARN 的主要目标是提供一个通用、灵活的资源管理平台,使各种大数据处理框架(如Hadoop MapReduce、Apache Spark、Apache Flink等)可以有效地共享和管理集群资源。以下是关于YARN的一些重要信息:

  1. 资源管理: YARN 负责在集群上分配和管理资源。它将集群资源划分为容器,每个容器可以包含一个或多个任务。这种资源管理方法使多个应用程序可以共享集群资源,而不会相互干扰。

  2. 作业调度: YARN 支持多种调度策略,例如容量调度、公平调度和先进先出调度,以满足不同应用程序的需求。这使得在同一集群上运行多个应用程序变得更加容易。

  3. 容错性: YARN 具有容错性,即使在节点故障时也能够重新分配任务,以确保应用程序的稳定性和可用性。

  4. 灵活性: YARN 提供了灵活的应用程序框架,允许开发人员编写自定义应用程序,并根据需要配置资源和调度策略。这为大数据生态系统的不断发展提供了支持。

  5. 监控和管理: YARN 提供了丰富的监控和管理工具,用于跟踪应用程序的性能、资源使用和集群健康情况。这些工具包括YARN ResourceManager和NodeManager、YARN应用程序历史服务器等。

  6. 生态系统集成: YARN被设计为与大数据生态系统中的其他组件集成,包括Hadoop Distributed File System(HDFS)、Hive、Pig、Tez、Spark等。这意味着你可以在一个集群上同时运行多个大数据处理框架,而它们都可以受益于YARN的资源管理。

  7. 扩展性: YARN是一个高度可扩展的框架,可以适应不断增长的数据处理需求。它支持横向扩展,可以轻松地添加更多的节点和资源来满足增加的工作负载。

Yarn 实际运行过程

让我们通过一个具体的示例来说明YARN的工作原理。假设你有一个大数据集群,其中有数十台服务器,你想在这个集群上运行两个不同的大数据处理应用程序:一个是Hadoop MapReduce作业,另一个是Apache Spark应用程序。YARN将用于管理和调度这两个应用程序的资源。

1. 提交应用程序: 首先,你将在集群上提交两个不同的应用程序,一个是Hadoop MapReduce作业,另一个是Spark应用程序。这两个应用程序分别包括Mapper、Reducer和Spark任务。

2. ResourceManager: 集群上有一个YARN ResourceManager(RM),它是YARN的核心组件之一。RM负责接收应用程序的提交请求并为它们分配资源。RM维护有关可用资源的信息,如可用内存和CPU核心。

3. ApplicationMaster: 每个应用程序都有一个ApplicationMaster(AM)。AM是一个YARN容器,负责与RM协商资源,为应用程序分配任务,并监控应用程序的执行。对于Hadoop MapReduce应用程序,AM会与RM协商Mapper和Reducer任务,而对于Spark应用程序,AM会协商Spark任务。

4. NodeManager: 集群中的每个节点都有一个YARN NodeManager(NM),它负责监视本地资源使用情况,启动和停止容器,以及向RM报告可用资源。

5. 资源分配: RM将应用程序的资源请求与集群中的可用资源进行匹配。它决定分配多少内存、CPU核心等资源给每个应用程序。资源分配是基于调度策略(如容量调度或公平调度)进行的。

6. 执行应用程序: 一旦资源分配完成,AM将启动应用程序的任务,并开始执行。这包括在容器中运行Mapper、Reducer或Spark任务。NodeManager负责启动和监视这些容器。

7. 监控和容错性: RM和AM会不断监控应用程序的执行,以确保它们正常工作。如果应用程序失败或容器遇到问题,YARN可以重新分配资源或重启容器,以确保应用程序的稳定性和可用性。

8. 完成应用程序: 当应用程序执行完成时,AM会向RM报告,并释放已使用的资源。RM会更新集群的可用资源信息。

你可能感兴趣的:(大数据,大数据,javascript,开发语言)