Hadoop 3.0学习笔记(持续更新....)

HDFS联盟
为了水平扩展服务,联盟使用多个独立的NamNode。联盟的NameNode是互相独立的,不互相协调。每个DataNode与集群中的所有NameNode注册,DataNode节点周期性发送的心跳和块报告和处理命令的节点。
MapReduce NextGen aka YARN aka MRv2:
新的功能已经在Hadoop-0.23中介绍过了,划分了JobTracker两个功能:资源管理以及job生命周期管理在不同的两个组件中。
新的ResourceManager为每一个app分配全局的计算资源,AM主要管理每个app、调度以及协调管理。
一个app是一个经典的MR或者DAG的job。
一个ResourceManager或者每个节点的守护进程NodeManager

你可能感兴趣的:(Hadoop生态圈)