Hadoop集群搭建

[配置 /etc/hosts]

1. 添加新用户
   useradd hadoop
   passwd hadoop

2. java环境
   scp -r /usr/lib/java/jdk target:/usr/lib/java/jdk
   vim ~/.bashrc
   [JAVA_HOME][JRE_HOME][CLASSPATH][PATH]
   source ~/.bashrc

3. 安装Hadoop

   hadoop-env.sh : JAVA_HOME
   core-site.xml :
   在configuration中加入：

          
          fs.defaultFS
          hdfs://master:9000
          
   
          
          fs.tmp.dir
          /usr/bigdata/hadoop/hdpdata
          
   

   hdfs-site.xml：

     
          
          dfs.replication
          2     // 复制的份数
          
     
   

   mapred-site.xml.template : （修改完后重命名为mapred-site.xml）
   

          
          mapreduce.framework.name
          yarn    // 默认为local：单机，yarn为集群
          
   
     
   

   yarn-site.xml：
   

          
          
          yarn.resourcemanager.hostname
          master     //为yarn设置一个master
          
   
          
          yarn.resourcemanager.aux-services
          mapreduce_shuffle     //yarn为mapreduce提供需要的服务
          
   
     
   

4. 拷贝至DataNode机器
   scp -r bigdata/ worker-1:/usr/bigdata/
   scp -r bigdata/ worker-2:/usr/bigdata/

5. 配置环境变量
   export HADOOP_HOME=/usr/bigdata/hadoop/hadoop-2.10.0
   export PATH=JAVA_HOME/bin:CONDA_HOME/bin:$HADOOP_HOME/bin

6. 格式化HDFS
   hadoop namenode -format

   启动/关闭当前namenode/datanode
   - sbin/hadoop-daemon.sh start/stop namenode
   - sbin/hadoop-daemon.sh start/stop datanode

7. 配置slaves自动化启动节点(slaves中的节点将会启动datanode)
   加入：
   worker-1
   worker-2

8. 在namenode节点上启动start-dfs.sh/stop-dfs.sh来开启/关闭namenode、datanode、secondarynamenode

9. 在namenode节点上启动start-all.sh/stop-all.sh来开启/关闭 hdfs集群 和 yarn集群

注意：

• 不同机器权限不统一的问题
• 配置文件拼写错误
• 主机名与IP的配置，多用主机名