Hadoop2.5细节

Hadoop2.5
1.COMMON
2.HDFS
    存储数据
    NameNode(存储文件系统元数据，命名空间)
    DataNode(存储数据)
    SecondaryNameNode(辅助NameNode工作，定时合并文件)
3.YRAN
    Hadoop操作系统
    Data操作系统
    Container
    ResourceManager(整个集群资源的管理和调度)
    NodeManager(管理每个节点的资源和调度)
4.MapReduce
    Map分
    Reduce合
    input->map->shuffle->reduce->output
    分布式并行的计算框架

    运行模式:
    本地模式
    yarn模式

 

 

#各个服务对应配置节点

hdfs
    #NameNode
    etc/hadoop/core-site.xml:
        
                   fs.defaultFS
                   hdfs://centos11.com:8020
        
        
    #DataNode    
    slaves:
            centos11.com    
        
    #SecondaryNameNode
    etc/hadoop/hdfs-site.xml:
    
      dfs.namenode.secondary.http-address
      0.0.0.0:50090
    

yarn
    #ResourceManager
    etc/hadoop/yarn-site.xml:
        
            yarn.resourcemanager.hostname
            centos11.com
        
        
    #NodeManager
    slaves:
            centos11.com

MapReduce
    #historyserver
    etc/hadoop/mapred-site.xml:
    
      mapreduce.jobhistory.address
      0.0.0.0:10020
    

    
      mapreduce.jobhistory.webapp.address
      0.0.0.0:19888
    

 

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/hadoop-daemon.sh start secondarynamenode

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh  start historyserver