大数据技术原理与应用（第二章 大数据处理架构Hadoop）

目录

2.1Hadoop简介

HDFS（分布式文件系统）

MapReduce（分布式并行编程框架）

Hadoop的特点

Hadoop的应用

​编辑Hadoop版本的变化

2.2Hadoop项目结构

Tez

Spark

Hive

Pig

Oozie

Zookeeper

HBase

Flume

Sqoop

Ambari

2.3Hadoop集群的部署和使用

NameNode

DataNode

JobTracker，TaskTracker

备份SecondaryNameNode

部署完成后进行Hadoop集群基准测试

云环境使用Hadoop

---

2.1Hadoop简介

Hadoop是Apache软件基金会旗下的开源软件——分布式计算平台，由Java语言开发，但支持多种编程语言。

Hadoop两大核心：

HDFS（分布式文件系统）

解决了海量数据的存储，顺序读写

MapReduce（分布式并行编程框架）

解决了海量数据的处理

Hadoop的特点

高可靠性：冗余副本机制

高效性：成百上千的机器一起计算，集群处理

可扩展性：可以不断向集群中加入机器

成本低：低端普通pc机

Hadoop的应用

Hadoop版本的变化

Yarn：为上层的计算框架进行底层计算资源的调度功能

NN Federation：NameNode，名称节点做数据目录服务，设置多个名称节点，分区管理

HA：高可用性，对Name Node进行热备份，避免单点失效

2.2Hadoop项目结构

Tez

运行在Yarn之上的下一代Hadoop查询处理框架，对MapReduce上的作业进行分析优化后构建有向无环图，获得最高的工作效率与最优流程（先后顺序，是否重复完成等）。

Spark

类似MapReduce的通用并行框架，基于内存计算，因此效率比MapReduce高出一个数量级。（MapReduce是基于磁盘）

Hive

Hadoop上的数据仓库，存储大量历史数据，用于企业的数据分析。架构于MapReduce之上，因此Hive实际运行时会把SQL语句转换成MapReduce作业去执行。（批量数据处理）

Pig

一个基于Hadoop的大规模数据分析平台，提供类似SQL的查询语言Pig Latin。（流数据处理，轻量级的脚本语言，和直接使用MapReduce相比大大简化了代码段）。

Oozie

Hadoop上的工作流管理系统。

Zookeeper

提供分布式协调一致性服务，实现分布式锁，集群管理等功能。

HBase

Hadoop上的非关系型的分布式数据库，属于列族数据库，支持随机读写，实时应用。（HDFS是顺序读写）

Flume

日志收集分析框架。一个高可用，高可靠，分布式的海量日志采集、聚合和传输的系统。

Sqoop

用于在Hadoop与传统关系型数据库之间进行数据传递。

Ambari

Hadoop快速安装部署工具，支持apache Hadoop集群的供应、管理和监控。

2.3Hadoop集群的部署和使用

HDFS集群硬件配置：

NameNode

总管家角色：管理各种元数据并提供服务， NameNode里面有很多元数据直接保存在内存当中。

DataNode

MapReduce两大核心组件：

JobTracker，TaskTracker

JobTracker相当于大的作业管家。MapReduce的程序开发每次是以一个MapReduce作业的形式去完成具体计算任务。JobTracker将用户的大作业拆分成很多小作业，协调分发到不同机器去执行。在不同的机器上则安装了TaskTracker，每一个TaskTracker负责跟踪和执行被分配给自己所在机器的小作业。

备份SecondaryNameNode

在HDFS上的组件，1.0版本中属于冷备份。在集群较小时可以与NameNode在一起，集群较大时需要单独分配服务器。

部署完成后进行Hadoop集群基准测试

1）Hadoop自带的基准测试程序，被打包在测试程序JAR文件中；

2）用TestDFSIO基准测试，来测试HDFS的IO性能；

3）用排序测试MapReduce：Hadoop自带一个部分排序的程序，整个过程的数据集都会通过洗牌（Shuffle）传输至Reducer，可以充分测试MapReduce的性能。

云环境使用Hadoop