三台云主机搭建hadoop集群

 

 1、硬件环境准备——云主机（三台）

分别为（配置均为1核2GB 40GB高速云盘）：

阿里云：IP:47.107.xx.xxx

华为云：ip:114.116.xx.xxx

腾讯云：ip:134.175.xxx.xx

三台主机均为centos7.3-x64系统，由于制作测试用，默认已经关闭系统防火墙。

三台主机之间通过公网IP访问，之间分别设置了ssh免密登录

三台主机修改hostname 分别任 master slave1 slave2 顺序与以上对应

修改hosts 添加 master slave1 slave2对应的IP绑定  

（注意点：由于公网ip是云服务器厂商映射出来的 所以在服务器的网卡里面查不到这个地址，正确的做法是在hosts里面做映射的时候 自己服务器的ip设置网卡中的IP地址，其他机器设为公网IP地址，否则自己服务器监听端口的时候 无法对应到具体的端口）

 

1. 软件环境

Hadoop2.8.4软件包----->安装目录统一为/usr/share/opt/bigdata/hadoop

   基于yarn资源模型的配置

三台机器节点规划

	master	Slave1	Slave2
HDFS	Namenode DataNode	secondaryManager DataNode	DataNode
YARN	Nodemanager	Nodemanager	RecourceManager Nodemanager
Histrory	HistroryServer

 

配置文件如下：hadoop.env.sh yarn.env.sh mapred.env.sh

分别配置JAVA_HOME路径

Hadoop-site.xml------>hadoop核心配置文件

    fs.defaultFS

    hdfs://master:9000

 

    hadoop.tmp.dir

    /usr/share/opt/bigdata/hadoop/hadoop-2.8.4/tmp/data

HDFS端口为9000

 

 

 

 

 

 

 

Hdfs-site.xml

    

        dfs.namenode.secondary.http-address

        slave1:50090

   

 

   

        dfs.namenode.http-address

        master:50070

    

    

    

        dfs.permissions.enabled

        false

   

 

 

 

Mapred-site.xml

        mapreduce.framework.name

        yarn

   

    

    

        mapreduce.jobhistory.address

        master:10020

   

    

    

        mapreduce.jobhistory.webapp.address

        master:19888

   

 

                        

 

yarn-site.xml

 

yarn.resourcemanager.hostname

        slave2

   

    

    

        yarn.nodemanager.aux-services

        mapreduce_shuffle

   

    

    

        yarn.log-aggregation-enable

        true

   

    

    

        yarn.log-aggregation.retain-seconds

        86400

   

 

以上为最基本配置文件

1. 关于端口开放

关于集群各个端口详情 参考这个https://www.cnblogs.com/liying123/p/7097806.html

4、启动集群/hadoop2.8.4/sbin/start-all.sh

(注意一点 测试过程中出现一些小问题使用以上脚本启动集群后RecourceManager可能无法启动，可以先用stop-yarn.sh关闭yarn集群然后到，部署RecourceManager的主机上面执行start-yarn.sh，此时使用jps查看集群状态为正常状态)

 使用自带wordcount测试集群

 后续。。。。。。。。。。。。。。