centos安装hadoop2.6.4之一台服务器变成多台服务器配置步骤

1.检查各虚拟机的环境变量(每台服务器都要检查)

     /etc/profile   并运行 source /etc/profile

    配置HADOOP_HOME  和  PATH 配置上hadoop下的sbin  和bin目录

2.检查防火墙是否关闭(每台服务器都要检查)

      务必关闭防火墙systemctl status firewalld  //查看状态 

      开机禁用防火墙  : systemctl disable firewalld     

      关闭(当次有效): systemctl stop firewalld)

3.检查hadoop 的slaves 配置文件(每台服务器都要检查)

      看下是否成slave1   slave2

4. 检查 hdfs-site.xml 配置文件,数据块备份数是否是3  (每台服务器都要检查)  

 
      
      dfs.replication
      3
   

5.验证下免密码登录是否可以用(每台服务器都要检查)

                                            三台电脑的话就验证9种

                                            生成密码是ssh-keygen 

                                            发送密码是ssh-copy-id root@slave1)  

  ssh   root@master

  ssh  root@slave1

   ssh root@slave2

6.重新格式化

   ①停止hdfs服务(使用jps命令查看是否有  nameNode,dataNode,secondary nameNode三个进程)

  进入 sbin目录中 执行

  sh stop-dfs.sh 

如果使用jps 查看还有这三个进程中有一个进程没有关闭,那使用kill -9 进程号 去关闭进程

   ②查看hdfs-site.xml配置的路径(dfs.name.dir指定的目录在master服务器中,、dfs.data.dir所指定的目录在slave1,slave2中
我们打开Hadoop的hdfs-site.xml,基本配置如下所示:
 将 dfs.name.dir所指定的目录文件夹删除、dfs.data.dir所指定的目录文件夹在系统中删除(不要修改配置文件!)
   ③、删除core-site.xml配置文件指定的相关目录,主要不要修改配置文件!!
 将hadoop.tmp.dir所指定的目录在系统中删除(不要修改配置文件!)。

5.不要忘记重新新建/tmp文件夹


6、重新执行命令:hdfs  namenode -format
格式化完毕。

tips:

   1.当多台服务器做的hadoop  hdfs分布式文件系统启动不起来时,检查是否单台可以启动起来,如果单台做的hdfs可以启动起来,一定是新配置的slave1,slave2配置文件出错!!!!复制master上的配置文件覆盖slave1,slave2中的配置文件,问题即可解决!!!

  2.重新格式化注意删除dataNode 的slave1,slave2节点的data目录

你可能感兴趣的:(centos安装hadoop2.6.4之一台服务器变成多台服务器配置步骤)