Hadoop各个模块的架构(分布式)功能

分布式


    相对于集中式:
    集中式:
                 一台计算机:将所有东西(软件)放在此计算上(安装)
    分布式:
                 多台机器:将东西进行划分,每台机器存储一部分


    主从架构:
        主节点:master
                    管理者,调度者
        从节点:slaves
                    被管理者,工作具体实施者

分布式文件系统HDFS

    主节点:
                 NameNode
                 将存储的文件划分为block块进行存储(128MB);
                 每个block副本是3个;
                 三个功能:
                                1.管理所有从节点;
                                2.存储元数据;
                                3.接收客户端的请求;
    从节点:
                 DataNodeS                                                                                                                                                                                         功能:
                          管理存储在当前DataNode运行的 机器上block;

分布式集群资源管理YARN

    管理集群资源 【任务(job)调度】
    主节点:resourceManager
                 管理这个集群的资源
                 接收客户端提交的应用
    从节点:nodeManager
                 管理当前节点(每台机器)上资源
注意:在企业部署Hadoop机器的时候,其中HDFS的从节点DataNode和YARN从节点NodeManager基本上出现在一台机器上,为了充分利用集群资源。

 

 

 

你可能感兴趣的:(大数据专栏预写,大数据开发学习)