三主机安装Hadoop

1. 主机：

    10.21.14.164

    10.21.14.165

    10.21.14.166

2. 版本：

      hadoop-2.7.7

       jdk > 1.8

3. 参考：

    Hadoop完全分布式集群搭建 -

4. 安装： 

   1.  配置各台虚拟机之间免秘钥登录

        参考： 配置各台虚拟机之间免秘钥登录 -

   2. 把hadoop安装包上传到服务器并解压

        tar -xzvf hadoop-2.7.7.tar.gz

   3. 修改 hadoop-env.sh

        /app/hadoop-2.7.7/etc/hadoop/hadoop-env.sh

        export JAVA_HOME=/opt/jdk1.8.0_144

    4. 修改 core-site.xml      

    5. 修改 hdfs-site.xml

        

    6. 修改 mapred-site.xml

        集群中只有mapred-site.xml.template，可以从这个文件进行复制

        cpmapred-site.xml.templatemapred-site.xml

        

    7. 修改 yarn-site.xml

    

8. 修改 slaves 配置文件，指定DataNode所在的节点

    

9. 把hadoop安装包分发给其他节点

    scp -r /app/hadoop-2.7.7 CRM-frame-0002:/app

    scp -r /app/hadoop-2.7.7 CRM-frame-0003:/app

10. 给每个节点配置HADOOP_HOME环境变量

    export HADOOP_HOME=/app/hadoop-2.7.7

    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

11. 在namenode主节点(CRM-frame-0001)上格式化文件系统

    hdfs namenode -format

    看到以下信息说明格式化成功:

12. 在namenode主节点(CRM-frame-0001)上启动hdfs系统

    start-dfs.sh

13. 在resourcemanager所在节点(CRM-frame-0003)上启动yarn

    start-yarn.sh

14. 验证集群是否搭建成功

    (1) 查看进程是否全部启动

    (2) 访问WEB页面

        10.21.14.164:50070

        10.21.14.166:8088

15. 如果hadoop集群需要重装，按以下步骤进行

    (1) 删除每个机器中的hadoop日志

        日志默认在HADOOP_HOME/logs下，如果不删除，

        日志文件会越积累越    多，占用磁盘

    (2) 删除原来的namenode和datanode产生的数据和文件

        删除你配置的hadoop.tmp.dir这个目录，

        如果你配置了dfs.datanode.data.dir和dfs.datanode.name.dir这两个配置，

        那么把这两个配置对应的目录也删除

    (3) 再重新修改hadoop配置文件后，按照安装时的步骤进行即可