http://blog.itpub.net/28929558/viewspace-1473102

http://blog.itpub.net/28929558/viewspace-1473102_第1张图片

备注:NameNode HA : NameNode高可用 , HDFS Fedreation 分布式文件系统联盟 解决了1带的单点问题

         Yarm 分布式资源管理系统,解决JobTrack单点问题
        


1. hadoop 1.x 版本的生态系统:
http://blog.itpub.net/28929558/viewspace-1473102_第2张图片

2. hadoop 2.x版本的生态系统:
http://blog.itpub.net/28929558/viewspace-1473102_第3张图片


对于分布式系统和框架的架构来说,一般分为两部分:

第一部分:管理层(用于管理应用层)
第二部分:应用层 (工作的)


对于HDFS,分布式文件系统:

    NameNode:    属于管理层,用于管理数据的存储
    
    SecondNameNode:也属于管理层,用于辅助管理数据的存储

    DateNode:属于 应用层 ,用户进行数据存储,被NameNode管理,定时向NameNode进行工作汇报,执行NameNode分配分发的任务


对于MapReduce,分布式计算框架:

    JobTrack : 属于管理层,用于管理集群的资源,对集群的任务资源进行调度,并监控任务的执行。

    TaskTrack: 属于应用层,用于执行JobTrack分配分发的任务,并向JobTrack汇报执行情况。


对于hadoop 二代版本的yarm系统:
    NodeManager :属于管理层,节点管理
    
    ResourceManager:属于管理层, 资源管理

    DataNode:属于应用层,被 NodeManager  和  ResourceManager管理,执行任务。

你可能感兴趣的:(http://blog.itpub.net/28929558/viewspace-1473102)