Linux集群中多节点服务器下Hadoop集群安装(安全可靠)

参照上一篇:单节点下安装hadoop伪分布式集群  安装完后,讲解安装hadoop集群点击打开链接

因为修改安装过的原因下面的/usr/local全部换为:/home/yexin/Haoop

 1.将上一节点node78中/usr/local中的安装好的hadoop 复制到新节点node79下的/usr/local (该节点作为datanode)

       将node78作为namenode

      Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第1张图片

    因为上一节点中hadoop已经配置好,所以配置文件无需配置,但要保证该节点的jdk与node82下的安装路径一样。因为所有  节点都时公用一个~/.bashrc (集群上创建用户时会分发到每个节点),当切换到其他节点时,~/.bashrc 中/usr/local等路径都是相应节点下的

2.因为该集群内网已经搭建好了 内网ip和节点名称都已经在/etc/hosts配置好了,

   不介绍内网搭建,注意本集群除了主节点联网,其他节点都不联网。

3.复制好了后(sudo scp hadoop username@ip:/usr/local),因为该节点作为datanode,所以有些hadoop配置文件需要修 

  改。首先进入到/usr/local/hadoop/etc/hadoop下

修该以下几个文件

  (1)core-site.xml

    因为将node78作为namenode,其他节点作为datanode,

    所以要通过core-site.xml指定主机名,修改如下

     Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第2张图片

     之后当程序存取HDFS时,会使用hdfs://node78:9000这个目标存储HDFS

     sudo service iptables stop关闭防火墙

   (2)yarn-site.xml

       修改如下

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第3张图片

说明:

  8025  设置ResourceManager主机与NodeManager的连接地址

        NodeManager通过这个地址与ResourceManager汇报情况

  8030  设置ResourceManager主机与ApplicationMaster的连接地址

        ApplicationMaster通过这个地址与ResourceManager申请资源,释放资源

  8050  设置ResourceManager主机与客户端的连接地址

        客户端通过该地址 ResourceManager注册应用程序,删除应用程序

  YARN架构图

Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第4张图片

(图片来自hadoop官网http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html)


(3)mapred-site.xml

  修改如下

   Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第5张图片

(4)hdfs-site.xml

  修改如下

   Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第6张图片

设置datanode HDFS存储目录,删除原来的namenode设置,因为该节点纯碎做datanode,

4.以上作为一个datanode已经设置好了,其他datanode节点可以从node79中的/usr/local的hadoop复制过来。

  先复制到其他节点的/home/username/Packages下,再复制到/usr/local下

 

  sudo cp -r hadoop/ /usr/local

  复制后修改文件所属者和组

  Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第7张图片

 

5.配置namenode节点(即修改node82上的配置)

 切换到node78 ,进入到cd /usr/local/hadoop/etc/hadoop/

 (1)编辑 hdfs-site.xml

         Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第8张图片

  

         因为node82作为namenode所以设置namenode HDFS存储目录即可。

 (2) 编辑masters文件(有些版本中/hadoop/etc/hadoop中没有这个文件,配置namenode时可以不用配置)

     

     masters文件主要告诉hadoop系统哪一台机器是namenode

(3) 编辑slaves文件(该文件都有)

   slaves文件主要告诉hadoop系统哪些机器是datanode

  Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第9张图片

6.删除namenode和datanode中的不必要的文件

 Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第10张图片

                在node82上输入start-dfs.sh启动HDFS看见其他三个节点都启动了

                Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第11张图片

                输入:

                

                启动Hadoop MapReduce的框架Yarn,

                切换到namenode 和 datanode 输入jps看到各自的进程都完美开启

                Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第12张图片

                输入stop-all.sh可以关闭所有节点上的服务

                 Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第13张图片

                网页打开看到:

                Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第14张图片


Linux集群中多节点服务器下Hadoop集群安装(安全可靠)_第15张图片

    当namenode启动不了(用jps命令在namenode节点上查看),看看是否50070端口开放。         


你可能感兴趣的:(Hadoop)