HDFS、YARN、MapReduce原理--读书笔记

hadoop

大数据工程师/hadoop工程师
目的：高效的存储、处理这些海量、多种类、高速流动的数据
hadoop来源google 03~06 年 的三篇论文
hadoop利用分而治之的朴素思想为大数据处理提供了一整套新的解决方案，分布式文件系统HDFS、分布式计算框架MapReduce、NoSQL数据库HBase、数据仓库工具Hive等
hadoop主要组件：HDFS、MapReduce、YARN、Hive、Sqoop、Hbase
hadoop其实是由一系列的软件库组成的框架，这些软件库可称为功能模块，他们各自负责hadoop一部分功能，其中最主要的是Common、HDFS、YARN，HDFS负责数据的存储，YARN负责统一资源管理和调度，Common则提供远程过程调用RPC、序列化机制
Hadoop生态圈：
Hadoop Common 是Hadoop体系最底层的一个模块，为hadoop各子项目提供各种工具，如系统配置工具Configuration、远程过程调用 RPC、序列化机制和日志操作，是其他模块基础
HDFS：高度容错性分布式文件系统
YARN
MapReduce 编程模型 函数式编程（java python C++ php）
Spark 新一代计算框架
HBase 分布式面向列族的数据库
zookeeper 解决分布式一致性问题
Hive/pig/impala/mahout/flume/sqoop/kafka
基于hadoop做二次开发的公司；Cloudera、Hortonworks、MapR
CDH （cloudera distribution for hadoop）

云计算定义：云计算是一种可以通过网络方便的接入共享资源池，按需获取计算资源（cpu 内存 存储 网络）的服务模型
云计算五大特点：按需提供服务、宽带网络访问、资源池化、高可伸缩性、可量化服务
云计算类型：
IaaS 作为云计算框架最底层，利用虚拟化技术将硬件设备等基础资源封装成服务供用户使用，用户相当于使用裸机
ps：虚拟化产品：VMvare vShpere 、微软的Hyper-V、开源的KVM、开源的Xen Amazon EC2 利用的就是Xen这种技术
PaaS Google App Engine
SaaS
hadoop 作为一个分布式的软件框架，拥有云计算PaaS的所有特点，是云计算的重要组成部分

hadoop是apache软件基金会的顶级项目
CDH5

Hadoop主要有两部分组成，分布式文件系统HDFS和统一资源管理和调度系统YARN，分布式文件系统主要负责海量数据的存储，而YARN主要是管理集群的计算资源并根据计算框架的需求进行调度

Hadoop HDFS架构：
NameNode（元数据–数据的数据–数据存储在文件系统的位置，存储文件系统元数据，存储文件与数据块映射，并提供文件系统全景图）、SecondaryNameNode（元数据备份，备份namenode数据，并负责镜像与namenode日志数据的更新）、多个DataNode

YARN架构：
ResourceManager：负责集群中所有资源的统一管理和调度
NodeManager：负责管理单个计算节点、容器的生命周期管理、追踪节点健康水平

因此，HDFS集群和YARN集群其实有一些守护进程组成，而所有这些守护进程与运行它们的节点就构成了hadoop

注意：DataNode 和 NodeManager需配对部署在同一个节点，而 NameNode 和 ResourceManager 出于稳定性考虑，商业部署时却不在同一节点

Hadoop安装步骤：
安装运行环境（VM）
修改主机名和用户名
配置静态IP
配置SSH无密码链接
安装JDK
配置Hadoop
格式化HDFS
启动hadoop

hadoop伪分布式安装心得：
需要安装ssh ，namenode 、 secondarynode 、datanode、resourcemanager、nodemanager 虽都部署在同一服务器上，但都是一个个独立的进程，有自己的端口号，相互间通信时需要相互登陆，所以需要ssh

Linux注意文件权限问题

Hive安装使用！！！
HBase安装使用！！！

Linux环境变量修改
/etc/profile 全局环境变量
~/.bash_file 只对当前用户生效
编辑环境变量后需source后生效

Hadoop的基石：HDFS
Hadoop有一个抽象的文件系统，HDFS只是其中的一个实现
Hadoop提供了很多文件系统的接口，用户可以选取合适的URI方案来实现对特定文件系统的交互
例如：
本地文件系统 hadoop dfs -ls file：///
HDFS hadoop dfs -ls hdfs：///
HDFS设计理念：
适合存储超大文件
是和部署在廉价硬件上
一次写入多次读取

短板：
实时数据访问弱，可考虑用HBase
大量小文件：当Hadoop启动时，Namenode会将所有元数据读到内存，以此构建目录树。一般来说，一个HDFS上的文件、目录和数据块的存储信息大约在150B左右，那么可以推算出，如果namenode内存为16GB，大概只能存放480万个文件

HDFS的架构：
一个典型的HDFS集群中，有一个NameNode 一个SecondaryNameNode，至少一个DataNode，所有数据都存在运行DataNode进程的节点的块（block）里
1.块
每个磁盘都有默认的数据块大小，这是磁盘进行数据读写的最小单位，而文件系统也有文件块的概念，如ext2、ext3等。文件系统的块大小只能是磁盘块大小的整数倍，磁盘块大小一般为512B，文件系统块一般为4096B.用户在使用文件系统进行读写的时候，完全不需要知道快的细节，这些对于用户是透明的
HDFS同样也有块的概念，但HDFS的块比一般文件系统大得多，默认为64MB，也可自行设置,配置项为hdfs-site.xml文件中的dfs.block.size项，与单一文件系统相似，HDFS上的文件也被划分成块大小的多个分块
HDFS块之所以设置这么大的原因是为了最小化寻址开销，块设置的足够大，磁盘传输数据的时间就会明显大于寻址时间，从而提升了磁盘传输的效率
dfs.relication.size 块副本数

2.NameNode 和 SecondaryNameNode
NameNode 维护整个文件系统的目录树，以及目录树所有的文件和目录，这些信息以两种文件存储在本地文件 FSImage edit-log
SecondaryNameNode 是用于定期合并文件系统镜像和编辑日志的辅助守护进程
生产环境下 一般将 SecondaryNameNode 单独部署在另一台服务器上
FSImage文件其实是文件系统元数据的一个永久检查点，但并非每一个写操作都会更新入这个文件，因为FSImage是一个大型文件，如果频繁读写，会使系统运行极慢

Secondary 负责合并

HDFS容错
1.心跳机制
在NameNode和DataNode之间维持心跳检测，当因为网络故障或DataNode节点宕机实，立即转储该宕机节点存储的数据块
2.检验文件块的完整性，分隔时记录校验和，从某节点获取块时校验
3.集群负载均衡
4.NameNode 上的FSImage 和 edit.log定期备份到 SecondaryNameNdoe

HDFS中的新特性
NameNode HA（high avaiable）
NameNode HA 其实就是NameNode 的热备，而非像SecondaryNameNode的冷备
NameNode Federation

YARN:统一资源管理和调度平台
YARN脱胎于MRv1，MRv1饱受诟病，缺点：可靠性差、可扩展性差、资源利用率低、无法支持异构计算框架
YARN 接管所有资源管理功能，兼容异构框架
HDFS——>YARN——>(spark、mapreduce…)

统一资源和调度平台范型
1.集中调度器
在高并发作业下容易出现瓶颈
2.双层调度器
3.状态共享调度器

YARN的架构
主从架构
YARN服务有ResourceManager、NodeManager两类进程组成，container是YARN资源表示模型，任何类型的计算类型的作业都可以运行在container中，AplicationMaster就是二级调度器，他也运行在container中
1.ResourceManager相当于双层调度器中的中央调度器，其主要责任是定期汇总各个NodeManager的资源情况，并根据资源情况将资源分配给各个二级调度器（applicationMaster）
假如有多个作业同时竞争资源，ResourceManager会根据优先级权衡分配给多个应用的applicationMaster资源，并不关注资源利用细节
因此对于每个应用，只需ResourceManager进行一次资源分配，大大减轻负荷，增强了扩展性
2.NodeManager 与 ResourceManager、applicationMaster通信，回报资源情况，任务处理情况，管理该节点container
3.AplicationMaster 负责具体应用执行，由ResourceManager分配资源，第一个container即为AplicationMaster，其负责处理应用细节，随着应用开始而开始，结束而结束
4.container 资源分配单位，抽象cpu 内存 硬盘等资源，可执行任何类型计算任务，因此兼容异构框架

YARN 的工作流程：
客户端向ResourceManager提交自己的应用
ResouceManager向NodeManager发送指令，为应用开启的一个container，在container启动AplicationMaster
AplicationerMaster向ResourceManager注册
AplicationMaster采用轮询的方式向ResourceManager的 YARN scheduler领取资源
当 AplicationMaster申领到资源后（其实就是获得了空闲节点的信息），与对应的NodeManager建立通信，请求启动计算任务
NodeManager根据资源量的大小、所需运行环境，在container中启动任务
各个任务向AplicationMaster回报自己的状态和进度
应用程序完成后 AplicationMaster向ResourceManager报告并注销关闭自己

MapReduce
源于google论文
开发简单：MapReduce编程模型，用户不需要考虑进程间通信、套接字编程，只需要满足MapReduce简单逻辑，其他交给MapReduce分布式计算框架去完成
可扩展性强
容错性强
MapReduce运行环境已经成为YARN
MapReduce编程思想：MapReduce操作数据的最小单位是一个键值对
MapReduce核心将数据用键值对表示，利用分而治之的思想，将复杂的问题转化一系列MapReduce作业，利用Hadoop提供的MapReduce计算框架，实现分布式计算
MapReduce作业是用户提交最小的单位，而Map/Reduce任务是节点运行单位，当用户向hadoop提交一个作业，负责改作业的aplicationManager会将作业分解为多个Map/Reduce任务下发各子计算节点执行

MapReduce的局限性
1.MapReduce的执行速度慢，MapReduce的慢主要由于磁盘I/O，MapReduce作业多是数据密集型作业，大量中间结果需要写到磁盘上并通过网络传输，耗去了大量时间
2.不是所有算法都可以借助MapReduce的键值对实现

MapReduce实例（wordcount）分析：
思路：HDFS上文件作为输入，map函数中完成对单词的拆分并输出为中间结果，在reduce函数中完成对每个单词的统计

MapReduce的过程
一个MapReduce作业经历input、map、conbine、reduce、output五个阶段，其中combine并不一定发生，map输出的中间结果被分发到reducer的过程为shuffle（数据混洗）
在shuffle阶段还会发生copy和sort过程
Reduce任务默认在map任务完成5%之后才启动
Map任务概括：首先通过用户指定的InputFormat类中gatsplits和next方法将输入文件切片成键值对作为map函数输入。然后map函数经过处理后输出并中间结果交给指定partitioner，确保中间结果交给指定reducer处理，此时如果用户指定了conbiner，将进行combine操作。最后map函数将中间结果保存在本地
reduce任务概括：将map任务输出的中间结果复制到reduce任务所在节点，带数据复制完成后，再以键排序，将相同的键交给reduce函数处理
五大过程：
input：对于Map任务来说，处理单位为一个inputsplit，inputsplit可以和块等大小，也可以包含多个块，hadoop在进行任务调度时会优先考虑本地数据，如果本节点没有可处理的数据或者还需要处理其他节点的数据，就要通过网络传输，当inputsplit容量大于块的容量，map任务就必须从其它节点读取一部分数据，这样不能实现完全数据本地化，所以应尽量使InputSplit和HDFS块大小相同，以提高map任务的本地计算率
Reduce阶段分为 copy sort reduce （sort）
mapreduce过程从 map阶段的分区 combine 到 shuffle reduce 的sort，一直注意数据的有序性

Hive SQL on Hadoop
常见的count、group by、order by、join等sql操作都可以由mapreduce实现，在某种意义上，Hive可以说是HiveQL到MapReduce作业的映射器
Hive将用户输入的HiveQL脚本转化成一个或多个MapReduce作业在集群中运行
同样地在hadoop生态圈里还有一个pig的组件，它的作用和hive类似，但pig提供的不是sql接口而是一种叫pig latin的语言接口
pig latin 和 hiveQL 都是对mapreduce进行了一种封装，使用户不用直接编写mapreduce程序，所以称它为hadoop的高级语言
hadoop HDFS/yarn——>mapreduce——>hive