Hadoop的组成部分

  1. HDFS: 用于海量数据的存储

    管理者:NameNode
    作用:负责管理,管理集群内各个节点。
    负责管理整个文件系统的元数据(描述数据的索引),名字空间,目录树的维 护
    工作者:DataNode
    作用:负责工作,进行读写数据。 周期向NameNode汇报。
    负责管理用户的文件数据块.
    辅助者:SecondaryNameNode
    作用:责辅助NameNode管理工作。
    辅助namenode管理元数据信息

  2. MapReduce: 用于海量数据的计算

  3. Yarn: 资源调度
    管理者:ResourceManager
    工作者:NodeManager
    HDFS使用场景:海量数据的存储
    HDFS可用的总容量是集群中所有节点的综合,HDFS目录下的数据在任何一个 节点都可以使用或访问
    hdfs中默认的数据块切分大小是128M,128直至 一个数据切分的分界线,若上 传数据超过128M,那么对数据进行
    切分。若小于128,有多大上传多大,数据块就是多大

你可能感兴趣的:(Hadoop的组成部分)