hadoop学习日记与资料整理

hadoop文件分布式系统的三大组成部分

1、HDFS

2、MR

3、YARN

一、HDFS

1. HDFS原理了解

2.hdfs文件读取过程

过程描述:

  (1)客户端调用FileSyste对象的open()方法在分布式文件系统中打开要读取的文件。

  (2)分布式文件系统通过使用RPC(远程过程调用)来调用namenode,确定文件起始块的位置。

  (3)分布式文件系统的DistributedFileSystem类返回一个支持文件定位的输入流FSDataInputStream对象,FSDataInputStream对象接着封装DFSInputStream对象(存储着文件起始几个块的datanode地址),客户端对这个输入流调用read()方法。

  (4)DFSInputStream连接距离最近的datanode,通过反复调用read方法,将数据从datanode传输到客户端。

  (5) 到达块的末端时,DFSInputStream关闭与该datanode的连接,寻找下一个块的最佳datanode

  (6)客户端完成读取,对FSDataInputStream调用close()方法关闭连接。

3.hdfs文件写入过程

  • 过程描述:

写文件过程分析:

  (1) 客户端通过对DistributedFileSystem对象调用create()函数来新建文件。

  (2) 分布式文件系统对namenod创建一个RPC调用,在文件系统的命名空间中新建一个文件。

  (3)Namenode对新建文件进行检查无误后,分布式文件系统返回给客户端一个FSDataOutputStream对象,FSDataOutputStream对象封装一个DFSoutPutstream对象,负责处理namenode和datanode之间的通信,客户端开始写入数据。

  (4)FSDataOutputStream将数据分成一个一个的数据包,写入内部队列“数据队列”,DataStreamer负责将数据包依次流式传输到由一组namenode构成的管线中。

  (5)DFSOutputStream维护着确认队列来等待datanode收到确认回执,收到管道中所有datanode确认后,数据包从确认队列删除。

  (6)客户端完成数据的写入,对数据流调用close()方法。

  (7)namenode确认完成

4.Block的副本放置策略

        

    

   第一个副本:放置在上传文件的DN;如果是集群外提交,则随机挑选一台磁盘不太满,CPU不太忙的节点。

   第二个副本:放置在于第一个副本不同的 机架的节点上。

   第三个副本:与第二个副本相同机架的节点。

   更多副本:随机节点

二、MR

1.MR过程

hadoop学习日记与资料整理_第1张图片

hadoop学习日记与资料整理_第2张图片

文件从HDFS通过split过程写入maptask。文件中maptask中被处理为的形式。

过程详解:

1)maptask收集我们的map()方法输出的kv对,放到内存缓冲区中

2)从内存缓冲区不断溢出本地磁盘文件,可能会溢出多个文件

3)多个溢出文件会被合并成大的溢出文件

4)在溢出过程中,及合并的过程中,都要调用partitoner进行分组和针对key进行排序

5)reducetask根据自己的分区号,去各个maptask机器上取相应的结果分区数据

6)reducetask会取到同一个分区的来自不同maptask的结果文件,reducetask会将这些文件再进行合并(归并排序)

7)合并成大文件后,shuffle的过程也就结束了,后面进入reducetask的逻辑运算过程(从文件中取出一个一个的键值对group,调用用户自定义的reduce()方法)

3)注意

Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率,原则上说,缓冲区越大,磁盘io的次数越少,执行速度就越快。

缓冲区的大小可以通过参数调整,参数:io.sort.mb  默认100M

combiner合并

1)combiner是MR程序中Mapper和Reducer之外的一种组件

2)combiner组件的父类就是Reducer

3)combiner和reducer的区别在于运行的位置:

Combiner是在每一个maptask所在的节点运行

Reducer是接收全局所有Mapper的输出结果;

4)combiner的意义就是对每一个maptask的输出进行局部汇总,以减小网络传输量

6)combiner能够应用的前提是不能影响最终的业务逻辑,而且,combiner的输出kv应该跟reducer的输入kv类型要对应起来

Mapper

三、YARN

–YARN:Yet Another Resource Negotiator;

–Hadoop 2.0新引入的资源管理系统,直接从MRv1演化而来的;

•核心思想:将MRv1中JobTracker的资源管理和任务调度两个功能分开,分别由ResourceManager和ApplicationMaster进程实现

•ResourceManager:负责整个集群的资源管理和调度

•ApplicationMaster:负责应用程序相关的事务,比如任务调度、任务监控和容错等

–YARN的引入,使得多个计算框架可运行在一个集群中

•每个应用程序对应一个ApplicationMaster

•目前多个计算框架可以运行在YARN上,比如MapReduce、Spark、Storm等

 

–MapReduce On YARN:MRv2

–将MapReduce作业直接运行在YARN上,而不是由JobTracker和TaskTracker构建的MRv1系统中

–基本功能模块

•YARN:负责资源管理和调度

•MRAppMaster:负责任务切分、任务调度、任务监控和容错等

•MapTask/ReduceTask:任务驱动引擎,与MRv1一致

–每个MapRduce作业对应一个MRAppMaster

•MRAppMaster任务调度

•YARN将资源分配给MRAppMaster

•MRAppMaster进一步将资源分配给内部的任务

–MRAppMaster容错

•失败后,由YARN重新启动

•任务失败后,MRAppMaster重新申请资源

 

MR1.0的版本中存在的角色包括:

JobTracker

核心,主,单点

调度所有的作业

监控整个集群的资源负载

TaskTracker

从,自身节点资源管理

和JobTracker心跳,汇报资源,获取Task

Client

作业为单位

规划作业计算分布

提交作业资源到HDFS

最终提交作业到JobTracker

存在的弊端有:

JobTracker:负载过重,单点故障

资源管理与计算调度强耦合,其他计算框架需要重复实现资源管理

不同框架对资源不能全局管理

处理1.0出现的问题 在2.0中角色如下

YARN:解耦资源与计算

ResourceManager

–主,核心

–集群节点资源管理

NodeManager

–与RM汇报资源

–管理Container生命周期

–计算框架中的角色都以Container表示

Container:【节点NM,CPU,MEM,I/O大小,启动命令】

–默认NodeManager启动线程监控Container大小,超出申请资源额度,kill

–支持Linux内核的Cgroup

MR-ApplicationMaster-Container

–作业为单位,避免单点故障,负载到不同的节点

–创建Task需要和RM申请资源(Container  /MR 1024MB)

•Task-Container

–Client:

•RM-Client:请求资源创建AM

•AM-Client:与AM交互

 

 

 

 

你可能感兴趣的:(日记,hadoop,hdfs,mr)