Hadoop生态圈原理

Hadoop生态圈原理整理

Hadoop

主要架构:HDFS,Mapreduce,Yarn

Hdfs功能组件

​ namenode作用:1.管理文件目录结构 fsimage和Edits 2.管理数据节点Datanode

​ DataNode的作用:具体存储数据的节点

​ SecondaryNamenode的作用:辅助生成目录镜像,定期加载fsimage和Edits合成新的fsimage返回namenode

hdfs读原理
  1. client访问NameNode,查询元数据信息,获得这个文件的数据块位置列表,返回输入流对象
  2. 就近挑选一台datanode服务器,请求建立输入流 。
  3. DataNode向输入流中中写数据,以packet为单位来校验。
  4. 关闭输入流
hdfs写原理
  1. 客户端向NameNode发出写文件请求。

  2. 检查是否已存在文件、检查权限。若通过检查,直接先将操作写入EditLog,并返回输出流对象。

  3. client端按128MB的块切分文件

  4. client将NameNode返回的分配的可写的DataNode列表和Data数据一同发送给最近的第一个DataNode节点,此后client端和NameNode分配的多个DataNode构成pipeline管道,client端向输出流对象中写数据。client每向第一个DataNode写入一个packet,这个packet便会直接在pipeline里传给第二个、第三个…DataNclient将NameNode返回的分配的可写的DataNode列表和Data数据一同发送给最近的第一个DataNode节点,此后client端和NameNode分配的多个DataNode构成pipeline管道,client端向输出流对象中写数据。client每向第一个DataNode写入一个packet,这个packet便会直接在pipeline里传给第二个、第三个…DataNode。
  5. 每个DataNode写完一个块后,会返回确认信息

  6. 写完数据,关闭输输出流。

  7. 发送完成信号给NameNode。

Mapreduce原理

1、输入文件分片,每一片都由一个MapTask来处理

2、Map输出的中间结果会先放在内存缓冲区中,这个缓冲区的大小默认是100M,当缓冲区中的内容达到80%时(80M)会将缓冲区的内容写到磁盘上。也就是说,一个map会输出一个或者多个这样的文件,如果一个map输出的全部内容没有超过限制,那么最终也会发生这个写磁盘的操作,只不过是写几次的问题。

3、从缓冲区写到磁盘的时候,会进行分区并排序,分区指的是某个key应该进入到哪个分区,同一分区中的key会进行排序,如果定义了Combiner的话,也会进行combine操作

4、如果一个map产生的中间结果存放到多个文件,那么这些文件最终会合并成一个文件,这个合并过程不会改变分区数量,只会减少文件数量。例如,假设分了3个区,4个文件,那么最终会合并成1个文件,3个区

5、以上只是一个map的输出,接下来进入reduce阶段

6、每个reducer对应一个ReduceTask,在真正开始reduce之前,先要从分区中抓取数据

7、相同的分区的数据会进入同一个reduce。这一步中会从所有map输出中抓取某一分区的数据,在抓取的过程中伴随着排序、合并。

8、reduce输出

Yarn原理

(1)Client向ResourceManager提交作业 job(可以是Spark/Mapreduce作业)

(2)ResourceManager会为这个作业(job)分配一个container(如果前面有正在运行的Job,则放入FIFO进行等待,直到轮到此Job)

(3)ResourceManager与NodeManager通信,要求NodeManger在刚刚分配好的container上启动应用程序的Application Master

(4)Application Master先去向ResourceManager注册,而后ResourceManager会为各个任务申请资源,并监控运行情况

(5)Application Master采用轮询(polling)方式向ResourceManager申请并领取资源(通过RPC协议通信)

(6) Application Manager申请到了资源以后,就和NodeManager通信,要求NodeManager启动任务

最后,NodeManger启动作业对应的任务。

HIve

主要组件

1。客户端组件:JDBC/ODBC等等

2.元数据管理组件

3.接口服务组件:hiveServer2

4.计算引擎组件:

5.执行引擎组件:MR 当然也可以是Tez(后者是省略了Shuffle过程)

6.Hive on Spark:

7.Strorage:Hadoop 基于Hdfs 存储

工作原理

Hive是一种建立在Hadoop文件系统上的数据仓库架构 对存储在HDFS中的数据进行分析和管理

将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能 ,可以将 SQL 语句转换为 MapReduce 任务进行运行 ,使不熟悉 MapReduce 的用户也能很方便地利用 SQL 语言对数据进行查询、汇总、分析

Hbase

主要原理

是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库

实质:利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务

HBase是谷歌BigTble的开源实现 ,和传统的行式数据库不同的是,HBase是列式数据库 ,列式数据的特点是开源横向扩展,将一张表的数据存储在hadoop集群的不同datanode中,一张表的存储量可以达到TB级别。这是行式关系型数据库无法实现的

Hbase的读流程

1.Client先访问Zookeeper,从meta表读取Region的位置,然后读取meta表中的数据。meta中又存储了用户表的Region信息

2.根据namespace,表名和RowKey在meta表中找到对应的Region信息

3.找到这个Region对应的RegionServer

4.查找对应的Region

5.先从BlockCache找数据,如果没有,再到MemStore里面读

6.MemStore如果没有,再到StoreFile上读(为了读取的效率)

7.如果是从StoreFile里面读取的数据,不是直接返回给客户端,而是先写入BlockCache里,再返回给客户端。

Hbase写流程

1.客户端向ZK发送请求,获取meta表所在的RegionServer

2.客户端通过RegionServer获取到meta表的数据

3.然后客户端向集群中的RegionServer发送写入数据的请求

4.RegionServer收到写数据的请求后,将数据写到HLog中,这一步是为了数据的持久化和恢复

5.RegionServer将数据写入内存(MemStore)

6.然后通知客户端数据写入成功。

核心组件

Table:可理解为传统数据库中的一个表,但因为SchemaLess的设计,它较之传统数据库的表而言,在设计上更加灵活。

HRegion

将表横向切割为一个个子表,子表在HBase中被称之为Region。

每一个HRegion是由一个或者多个Store组成,每个Store实际上存储的是一个列簇,在每个Store中又包含一块MemStore。Memstore当达到阈值之后再flush(默认是64M)到对应的StoreFile(又名HFile),当StoreFile达到一定的阈值就会分裂(默认是256M),当StoreFile的数量多到指定的阈值,就会触发合并,这边同时合并版本以及删除之间要删除的数据,合并后大小达到阈值就会split

so:一个HRegionServer管理多个表,一个表下有多个Region,一个HRegion有多少个列簇就有多少个Store,Store下有多个StoreFile文件,StoreFile是Hbase中最小的存储单元,HFile是底层存储格式

HRegionServer

1.数据服务进程,处理来自客户端的读写请求

2.管理master为其分配的region

3.负责和底层HDFS的交互

4.负责Region变大后的切分

5.负责StroeFile的合并

HFile:HBase数据库在底层分布式文件系统中的文件组织形式。

Column Family:一些列的集合 称为列簇

MemStore:用来在内存中缓存一定大小的数据,达到设定的阈值后批量写入到底层文件系统中。数据是有序的。

HLog(WAL log):

以key,value的形式记录数据的所有变更,一旦数据修改,就可以从HLog中进行恢复。

每个HRegionServer维护一个HLog*

Zookeeper

1.对RegionServer的监控

2.元数据的入口 (通过zookeeper集群可以获取当前系统表.META.的存储所对应的RegionServer信息 )

3.负责Master的高可用

4.负责集群配置的维护

HMaster

1.为RegionServer分配Region

2.发现失效的Region,并分配到正常的RegionServer上

3.维护整个集群负载均衡

4.维护集群的元数据信息

Spark

核心组件
RDD

分布式弹性分布式数据集代表不可变,分区化的元素集合,可以进行并行操作

五大特性:

  1. 分区列表
  2. 用于计算每个切片的函数(算法)
  3. 到其他RDD的依赖列表
  4. (可选)对于KV类型的RDD有一个分区类
  5. (可选)计算每个切片的首选位置列表
SparkContext

上下文创建时,在worker节点直接启动job的执行器进程(CoarseGrainedExecutorBackend),spark入口点,表示到spark集群的一个连接。创建该类时,同时创建task调度器和后台调度器,后台调度器还要决定默认并发度问题。

DagScheduler

高级调度层,面向stage进行调度,为每个job计算stage,寻找最优路径执行job。该调度器以taskset方式提交stage给下层调度器(TaskScheduler)。Spark以shuffle为边界,将众多的RDD划分成stage,窄依赖的RDD划分到一个stage中。shuffle依赖需要多个stage,DAG调度检测运行task的首选位置,该调度器将位置信息和状态传递给底层的task调度器。DAG调度器处理因shuffle output丢失导致故障,此时上一个stage需要重新提交。在阶段stage内,不是由shuffle output丢失导致的故障都由下层的task调度器处理。缓存跟踪,避免rdd重复计算。首选位置:首选那个节点来执行task。为了防止内存泄漏,job完成后清除数据结构。递归提交每个Stage,每个stage都是以Tasket方式提交任务集合给下层的TaskScheduler,因此Dag调度器需要计算每个stage的任务集合。

TaskScheduler

Job 一个action触发一个job

stage 一个job分为一个或者多个Stage,stage是task的集合,数量同stage的最后的一个rdd的分区数相同。stage按照shuffle进行划分边界,存在前后依赖,上一阶段计算输出,下一个提取上一个的结果。主要有两种类型stage: ResultStage 和ShuffleMapStage

Task 可以理解为RDD的每个Partition

主要原理
  1. 构建Spark Application的运行环境,启动SparkContext
  2. SparkContext向资源管理器(可以是Standalone,Mesos,Yarn)申请运行Executor资源,并启动StandaloneExecutorbackend,
  3. Executor向SparkContext申请Task
  4. SparkContext将应用程序分发给Executor
  5. SparkContext构建成DAG图,将DAG图分解成Stage、将Taskset发送给Task Scheduler,最后由Task Scheduler将Task发送给Executor运行
  6. Task在Executor上运行,运行完释放所有资源

Flume

主要介绍

​ 一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理, 并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力 。

​ 事件是Flume的基本数据单位,它携带日志数据(字节数组形式)并且携带有头信息,这些Event由Agent外部的Source生成,当Source捕获事件后会进行特定的格式化,然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区,它将保存事件直到Sink处理完该事件。

Sink负责持久化日志或者把事件推向另一个Source。

主要概念

Client:生产数据,运行在一个独立的线程。

Event:一个数据单元,消息头和消息体组成。

Flow: Event从源点到达目的点的迁移的抽象。

Agent: 一个独立的Flume进程,也是最小的独立运行单位。 包含组件Source、 Channel、 Sink。(Agent使用JVM 运行Flume。每台机器运行一个agent,但是可以在一个agent中包含多个sources和sinks。)

Source: 数据收集组件。(source从Client收集数据,传递给Channel)

Channel: 中转Event的一个临时存储,保存由Source组件传递过来的Event。

Sink: 从Channel中读取并移除Event ,传递到目的地

kafka

#####主要组件

broker:中间的kafka cluster,存储消息,是由多个server组成的集群。

topic:kafka给消息提供的分类方式。broker用来存储不同topic的消息数据。

producer:往broker中某个topic里面生产数据。

consumer:从broker中某个topic获取数据。

Sqoop(同步工具)

Sqoop利用数据库技术描述数据架构,用于在关系数据库、数据仓库和Hadoop之间转移数据。

GraphX(图计算模型)

在GraphX中,操作者执行一系列的超步,在这些超步中,顶点从之前的超步中接收进入消息,为顶点属性计算一个新的值,然后在以后的超步中发送消息到邻居顶点。不像Pregel而更像GraphLab,消息通过边triplet的一个函数被并行计算,消息的计算既会访问源顶点特征也会访问目的顶点特征。

此外GraphX的优点还包括:

​ 允许用户把数据当做一个图和一个集合(RDD),而不需要数据移动或者复制。

​ 可以无缝与Spark SQL、MLLib等结合,方便且高效地完成图计算整套流水作业。

Ambari

Apache Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,是为了让 Hadoop 以及相关的大数据软件更容易使用的一个web工具。

Oozie(工作流调度器)

Oozie是一个可扩展的工作体系,集成于Hadoop的堆栈,用于协调多个MapReduce作业的执行。它能够管理一个复杂的系统,基于外部事件来执行,外部事件包括数据的定时和数据的出现。

Oozie工作流是放置在控制依赖DAG(有向无环图 Direct Acyclic Graph)中的一组动作(例如,Hadoop的Map/Reduce作业、Pig作业等),其中指定了动作执行的顺序。

Oozie使用hPDL(一种XML流程定义语言)来描述这个图。

你可能感兴趣的:(hadoop生态圈)