Hadoop集群的搭建——完全分布式的安装配置（3节点）

目录

集群节点分配

准备工作

hadoop安装配置

配置hadoop-env.sh

配置core-site.xml

配置hdfs-site.xml

配置mapred-site.xml

配置yarn-site.xml

配置slaves文件

配置hadoop的环境变量

集群启动

---

集群节点分配

	hadoop01	hadoop02	hadoop03
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

准备工作

以下配置点击链接：（就是把6节点的配置变为3节点）

1.  克隆六台虚拟机，配置固定ip

2.  关闭每台机器的防火墙

3.  创建用户并配置主机名

4.  配置hosts文件

5.  配置ssh免秘钥登录

hadoop安装配置

安装和配置01节点的hadoop
上传解压hadoop安装包后：

配置hadoop-env.sh

export JAVA_HOME = /home/hadoop/jdk1.8.0_65
 
export HADOOP_CONF_DIR = /home/hadoop/hadoop-2.7.1/etc/hadoop

配置core-site.xml

fs.defaultFS
hdfs://hadoop01:9000



hadoop.tmp.dir
/home/hadoop/hadoop/hadoop-2.7.1/tmp



ha.zookeeper.quorum
hadoop01:2181,hadoop02:2181,hadoop03:2181

配置hdfs-site.xml

dfs.nameservices
hdfs://hadoop01:9000



dfs.namenode.secondary.http-address
hadoop03:50090





dfs.replication
3

配置mapred-site.xml

 

 

 
mapreduce.framework.name
 
yarn
 

 

配置yarn-site.xml

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
 

       
              yarn.resourcemanager.hostname
              hadoop103
       

配置slaves文件

（没有就自己创建一个新的）

配置代码：（填写自己的数据节点的主机名称）

hadoop01
hadoop02
hadoop03

配置hadoop的环境变量

进入文件：vim /etc/profile

JAVA_HOME=/home/hadoop/jdk1.8.0_65
 
HADOOP_HOME=/home/hadoop/hadoop-2.7.1
 
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 
PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
 
export JAVA_HOME PATH CLASSPATH HADOOP_HOME

生效命令：source /etc/profile

通过scp 命令，将hadoop安装目录远程copy到其他2个节点上（[root@hadoop01 bin]# scp -r /home/hadoop/apache-storm-0.9.3 root@hadoop02:/home/hadoop）

集群启动

如果集群是第一次启动，需要格式化namenode

[root@hadoop01 hadoop-2.7.1]# hadoop namenode -format

启动HDFS和YARN：

[root@hadoop01 hadoop-2.7.1]# sbin/start-dfs.sh

[root@hadoop02 hadoop-2.7.1]# sbin/start-yarn.sh

（secondarynamenode没起来，目前还木有解决）

注意：Namenode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。

网页管理：