笔记:Hadoop源码情景分析

  • HDFS 子系统——文件系统,数据存储
    • 主节点 NameNode 对象,管理集群中所有 DataNode
    • 从节点 DataNode 对象
  • YARN 子系统——计算框架,数据处理
    • 主节点 ResourceManager 对象 ,管理集群中所有 NodeManager
    • 从节点 NodeManager 对象
    • Mapper
    • Reducer

YARN

Yet Another Resource Negotiator
意为与 JobTracker/TaskTracker(Hadoop 2.0以前)不同的另一种资源协商管理机制

作业提交到RM,排入等待调度队列
RM通过YARN调度模块进行调度
首先在“账本”中选取一个足够空闲资源的节点,然后让其担任“项目组长”的角色,
并将一个操作系统层面的Shell命令行连同所分配的资源配额等信息打包作为一个容器Container发送给这个节点
使其就地启动一个进程作为这个作业的“应用主管”,即

你可能感兴趣的:(笔记:Hadoop源码情景分析)