hadoop -- introduction

Hadoop Architecture

用下图描述 hadoop 的四元素

• hadoop commom: 其他hadoop modules 所需要的 java 库和工具；
• hadoop YARN: 用与做 job scheduling 和 cluster resource management 的 框架；
• Hadoop Distributed File System (HDFS^TM): 一个基于谷歌文件系统（GFS）的分布式文件系统，可以提供对应用数据高吞吐量的访问。
• Hadoop MapReduce: 一个用于并行处理大数据集的系统， YARN-based。

HDFS

hadoop 上最常用的文件系统。

HDFS 用的是 master/slave architecture，包括一个master (NameNode) 管理文件系统的大量数据，和数个slaves(DataNodes)用于真正的存储数据.

HDFS里的一个文件被分成若干个块（Blocks）分别存储在若干个DataNodes里。

NameNode

• 管理 Blocks 和DataNodes 的映射关系
• 管理 client 对文件袋额访问权限。
• 执行 renaming, closing 和 opening 对文件或文件夹的操作。

DataNode

• 执行文件系统的读、写操作
• 以及按 NameNode 发出的指示对Blocks进行Creation, deletion 和 replication。

HDFS 提供了shell 和一系列的指令用于文件系统的交互。

MapReduce

以一种可靠地、高容错性的方式在集群上并行化的处理大规模数据。

• The Map Task
• The Reduce Task

MapReduce Framework 的每个 Cluster-node 上包含一个 JobTracker(master) 和一个 TaskTracker(slave):

• JobTracker: 负责
  
  • 资源管理，resource management，tracking resource consumption/availability
  • 分配并监督slaves 的任务，scheduling the jobs component tasks on the slaves, monitoring them
  • 重新执行失败的任务，re-executing the failed tasks
• TaskTracker: 负责
  
  • 执行任务，execute the tasks as directed by the master
  • 定时向master汇报状态，provide task-status information to the master periodically

Work Stages

• Stage 1: 一个应用程序向 Hadoop 提交一项工作(job)的时候需要指定一下几项：
  
  • 分布式文件系统中输入输出文件的 location;
  • 包含 Map 和 Reduce 函数的执行语句的 jar file;
  • 此项工作需要单独配置的参数 job configuration.
• Stage 2: 应用程序向 Hadoop 提交工作和配置给 JobTracker。JobTracker 把配置参数发布给slaves, 然后分配任务(task)、监督Slave的工作，并且向应用程序提供运行状态和诊断信息。
• Stage 3: 每一次 MapReduce 操作，分布在不同节点上的 TaskTracker 执行一次任务，并且把Reduce 操作的输出保存在文件系统。