Hadoop学习笔记

Hadoop

构造模块

  • NameNode 名字节点
    • 位于HDFS主端,指导从端的DataNode执行底层的I/O任务
    • 负面影响:Hadoop集群的单点失效。
  • DataNode 数据节点
    • 每个从节点驻留一个DataNode守护进程
    • DataNode不断向NameNode报告
  • Secondary NameNode 次名字节点
    • 用于监测HDFS集群状态的辅助守护进程,每个集群有一个SNN
    • 不同在于不接收或记录HDFS的任何实时变化
    • 它与NameNode通信,根据集群所配置的时间间隔获取HDFS元数据的快照
  • JobTracker 作业跟踪节点
    • 提交代码到集群后,JobTracker就会确定执行计划
      • 决定处理哪些文件
      • 为不同的任务分配节点
      • 监控所有任务的运行
      • 若任务失败,将自动重启任务,但分配的节点可能不同,同时受到预定义的重试次数限制
    • 每个Hadoop集群只有一个JobTracker守护进程,通常运行在服务器集群的主节点
    • 计算的守护进程也遵循主/从架构
    • 作为主节点,监测MapReduce作业的整个执行过程
  • TaskTracker 任务跟踪节点
    • Hadoop分布式计算与分布式存储中都采用了主/从结构。
    • 管理各个任务在每个从节点上的执行情况
    • 每个从节点只有一个TaskTracker,但每个TaskTracker可以生成多个JVM来并行处理map或reduce任务

HDFS

    • HDFS中fsck指令可以显示块信息:hdfs fsck /-files -blocks

你可能感兴趣的:(Hadoop学习笔记)