思路超清 Hadoop 集群搭建指南

<
         
  序号 步骤内容 备注  
  1 修改Linux相关文件    
  2 安装Hadoop,并修改Hadoop的配置文件    
  3 安装并启动zooKeeper集群    
  4 格式化ZK和HDFS    
  5 启动HDFS    
         
  步骤 0 : 前言    
         
       
         
         
         
         
         
         
         
         
         
         
         
         
  步骤 1 : 修改Linux相关文件    
         
    步骤1.1:修改主机名称    
         
       
         
         
       
         
         
         
    依次修改集群中其它主机的主机名称    
         
    步骤1.2:集群间做ssh免密设置    
         
    1).在cluster1上生成ssh密钥,然后ssh-copy-id到cluster1--cluster7    
    2).在cluster2上生成ssh密钥,然后ssh-copy-id到cluster1--cluster7    
         
    步骤1.3:修改host文件    
         
         
         
         
         
       
         
         
         
         
         
         
         
         
       
         
         
         
         
         
    使用scp命令将修改后的hosts文件复制到集群中的其它主机    
         
  步骤 2 : 安装Hadoop,并修改Hadoop的配置文件    
         
    步骤 2.1:在cluster1上安装hadoop    
         
    解压缩到某个目录即可    
         
    步骤 2.2:修改/etc/profile    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    步骤 3.2:修改hbase-site.xml    
         
         
         
         
    配置项的内容设置为:    
         
         
         
         
         
    步骤 2.3:修改/hadoop-2.6.0/etc/hadoop/hadoop-env.sh    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    步骤 2.4:修改/hadoop-2.6.0/etc/hadoop/hdfs-site.xml    
         
    将文件中的配置项替换为:    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    步骤 2.5:修改/hadoop-2.6.0/etc/hadoop/core-site.xml    
         
    将文件中的配置项替换为:    
         
       
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    步骤 2.6:修改/hadoop-2.6.0/etc/hadoop/mapred-site.xml    
         
    将文件中的配置项替换为:    
         
       
         
         
         
         
         
         
         
         
    步骤 2.7:修改/hadoop-2.6.0/etc/hadoop/yarn-site.xml    
         
    将文件中的配置项替换为:    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    步骤 2.8:修改/hadoop-2.6.0/etc/hadoop/slaves.xml    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
       
       
         
         
         
       
         
         
         
         
    步骤 2.9.1:将cluster1上的hadoop安装目录复制到cluster2--cluster7    
         
         
         
         
         
         
         
         
         
         
         
    步骤 2.9.2:将hadoop的运行目录【hadoop.tmp.dir】复制到cluster2--cluster7    
         
    步骤 2.9.3:补充操作    
         
         
         
         
         
         
         
         
         
  步骤 3 : 安装并启动zooKeeper集群    
         
    步骤 3.1:搭建zooKeeper集群    
         
    在cluster1, cluster2, cluster3上面搭建zooKeeper集群    
    详细搭建过程请参照【\开发指南\Hadoop\08. ZooKeeper集群-搭建指南\08. ZooKeeper集群-搭建指南.xlsx】    
         
    步骤 3.2:启动zooKeeper集群    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    依次启动zooKeeper集群中的其它zooKeeper    
         
    步骤 3.3:查看zooKeeper集群状态    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
  步骤 4 : 格式化ZK和HDFS    
         
    步骤 4.1:在cluster1上格式化ZK    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    ……    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    步骤 4.2.1:启动journalNode    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    依次启动主机cluster4--cluster7上的journalNode    
         
         
    步骤 4.2.2:格式化NameNode    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    ……    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
  步骤 5 : 进入管理页面,查看集群状态    
         
    步骤 5.1:在cluter1启动集群    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
       
         
         
         
         
         
         
         
    步骤 5.2:格式化standby nameNode    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    ……    
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
         
    步骤 5.3:启动standby nameNode    
         
         
         
         
         
         
         
         
         
         
    步骤 5.4:查看集群其它主机上的进程    
       
       
         
         
         
         
         
         
         
         
     
         
         
         
         
         
         
         
    验证标准:    

你可能感兴趣的:(.,hadoop)