【Hadoop大数据平台组件搭建系列】——Hadoop完全分布式搭建（基于CentOS7.4）史上最简单的Hadoop完全分布式搭建 一站式解决！！！

简介

• 本篇介绍在VMware+CentOS 7.4环境上搭建Hadoop完全分布式。
• Hadoop集群分布如下：
• 使用软件版本信息：
  jdk-8u144-linux-x64.tar.gz（提取码：qlft）
  hadoop-2.6.0.tar.gz（提取码：zr2n）

编号	主机名	namenode节点	secondaryname节点	datanode节点	resourcemanager节点
1	master1	√	√		√
2	master2			√
3	slave1			√
4	slave2			√

安装JDK

1. 解压jdk安装包至目标文件夹

 tar -zxvf /opt/software/jdk-8u144-linux-x64.tar.gz -C /usr/local/src/

2. 修改环境变量

 vi /etc/profile

在最后添加如下内容：

export JAVA_HOME=/usr/local/src/jdk 
export PATH=$JAVA_HOME/bin:$PATH
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib

3. 使环境变量生效、检查jdk版本验证jdk安装是否成功

 source /etc/profile

 java -version

出现下图则jdk安装成功：

配置SSH免密登录

详情戳此篇————》》》Linux中实现Hadoop各节点间的SSH免密登录

安装Hadoop完全分布式

解压安装包，并重命名

 tar -zxvf /opt/software/hadoop-2.6.0.tar.gz -C /usr/local/scr/

重命名：

mv hadoop-2.6.0/ hadoop

修改环境变量，刷新环境变量

修改环境变量：

[root@master1 ~]# vi /etc/profile

添加环境变量：

#.....hadoop......
export HADOOP_HOME=/usr/local/scr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新环境变量：

[root@master1 ~]# source /etc/profile

修改配置文件

hadoop-env.sh

添加jdk路径

yarn-env.sh

添加jdk路径（注意：去掉注释符#）

core-site.xml

        
                fs.defaultFS</name>
                hdfs://master1:9000</value>
        </property>
        
                hadoop.tmp.dir</name>
                /usr/local/scr/hadoop/tmp</value>
        </property>
</configuration>

hdfs-site.xml

        
                dfs.namenode.name.dir</name>
                /usr/local/scr/hadoop/tmp/dfs/name</value>
        </property>
        
                dfs.datanode.data.dir</name>
                /usr/local/scr/hadoop/tmp/dfs/data</value>
        </property>
        
                dfs.replication</name>
                2</value>
        </property>
        
                dfs.webhdfs.enabled</name>
                true</value>
        </property>
	
                dfs.namenode.secondary.http-address</name>
                master1:9001</value>
        </property>
</configuration>

mapred-site.xml

先复制mapred-site.xml.template为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

        
                mapreduce.framework.name</name>
                yarn</value>
        </property>
        
                mapreduce.jobhistory.address</name>
                master1:10020</value>
        </property>
        
                mapreduce.jobhistory.webapp.address</name>
                master1:19888</value>
        </property>
</configuration>

yarn-site.xml

<!-- Site specific YARN configuration properties -->
        
                yarn.nodemanager.aux-services</name>
                mapreduce_shuffle</value>
        </property>
        
                yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        
                yarn.resourcemanager.address</name>
                master1:8032</value>
        </property>
        
                yarn.resourcemanager.scheduler.address</name>
                master1:8030</value>
        </property>
        
                yarn.resourcemanager.resource-tracker.address</name>
                master1:8031</value>
        </property>
        
                yarn.resourcemanager.admin.address</name>
                master1:8033</value>
        </property>
        
                yarn.resourcemanager.webapp.address</name>
                master1:8088</value>
        </property>
</configuration>

slaves

master2
slave1
slave2

拷贝分发给子节点

• 拷贝分发环境变量给各子节点并刷新

[root@master1 hadoop]# scp -r /etc/profile master2:/etc/profile
...
[root@master1 ~]# source /etc/profile

• 拷贝分发hadoop安装文件

[root@master1 ~]# scp -r /usr/local/scr/hadoop/ master2:/usr/local/scr/
...

在主节点进行格式化

[root@master1 ~]# hadoop namenode -format

验证安装成功

主节点：

子节点：

web端：

最后，记得点赞哦！！！ღ( ´･ᴗ･` )比心！！！

系列文章：

【Hadoop大数据平台组件搭建系列（四）】——Kafka组件配置
【Hadoop大数据平台组件搭建系列（五）】——MySQL组件配置（tar源码安装）
【Hadoop大数据平台组件搭建系列（六）】——Spark完全分布式组件配置