CentOS7搭建hadoop集群
说明：
1.准备三台虚拟机，参考：CentOS7集群环境搭建(以3台为例)
2.配置虚拟机间免密登陆：参考：CentOS7集群配置免密登录
3.虚拟机分别安装jdk：参考：CentOS7集群安装JDK1.8
4.hadoop安装包下载，下载地址
准备开始搭建hadoop集群，以下操作在第一台机器node1执行：
1.上传并解压hadoop安装包
1.1上传安装包到/develop/software
mkdir -p /develop/software
mkdir -p /develop/server
cd /develop/software
rz
1.2解压安装包到/develop/server
tar -zxvf hadoop-2.7.5.tar.gz -C /develop/server/
1.3切换到解压目录，查看解压后的文件
cd /develop/server/hadoop-2.7.5
ll
2.修改hadoop配置文件
2.1切换到hadoop的etc/hadopp目录，修改hadoop-env.sh
cd /develop/server/hadoop-2.7.5/etc/hadoop/
ll
vim hadoop-env.sh
2.2配置hadoop-env.sh文件，修改jdk路径
export JAVA_HOME=/develop/server/jdk1.8.0_241
2.3配置core-site.xml（hadoop的核心配置文件）在
fs.defaultFS
hdfs://node1:8020
hadoop.tmp.dir
/develop/server/hadoop-2.7.5/data/tempdata
io.file.buffer.size
4096
fs.trash.interval
10080
2.4配置hdfs-site.xml（hdfs的核心配置文件），在
dfs.namenode.secondary.http-address
node2:50090
dfs.namenode.http-address
node1:50070
dfs.namenode.name.dir
file:///develop/server/hadoop-2.7.5/data/nndata
dfs.datanode.data.dir
file:///develop/server/hadoop-2.7.5/data/dndata
dfs.namenode.edits.dir
file:///develop/server/hadoop-2.7.5/data/nn/edits
dfs.namenode.checkpoint.dir
file:///develop/server/hadoop-2.7.5/data/snn/name
dfs.namenode.checkpoint.edits.dir
file:///develop/server/hadoop-2.7.5/data/dfs/snn/edits
dfs.replication
3
dfs.permissions
true
dfs.blocksize
134217728
2.5复制mapred-site.xml.template，并更改名称为mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
ll
2.6配置mapred-site.xml（MapReduce的核心配置文件），在
mapreduce.framework.name
yarn
mapreduce.job.ubertask.enable
true
mapreduce.jobhistory.address
node1:10020
mapreduce.jobhistory.webapp.address
node1:19888
2.7配置mapred-env.sh，指定JAVA_HOME
export JAVA_HOME=/develop/server/jdk1.8.0_241
2.8配置yarn-site.xml（YARN的核心配置文件） ，在
yarn.resourcemanager.hostname
node1
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.log-aggregation-enable
true
yarn.log-aggregation.retain-seconds
604800
yarn.nodemanager.resource.memory-mb
2048
yarn.scheduler.minimum-allocation-mb
2048
yarn.nodemanager.vmem-pmem-ratio
2.1
2.9配置slaves，slaves文件里面记录的是集群主机名，删除原有内容，配置以下内容
node1
node2
node3
3.创建数据存放目录
mkdir -p /develop/server/hadoop-2.7.5/data/tempdata
mkdir -p /develop/server/hadoop-2.7.5/data/nndata
mkdir -p /develop/server/hadoop-2.7.5/data/dndata
mkdir -p /develop/server/hadoop-2.7.5/data/nn/edits
mkdir -p /develop/server/hadoop-2.7.5/data/snn/name
mkdir -p /develop/server/hadoop-2.7.5/data/dfs/snn/edits4.文件分发
4.1将安装配置好的hadoop分发到另外两台机器
scp -r hadoop-2.7.5/ node2:$PWDscp -r hadoop-2.7.5/ node3:$PWD4.2在另外两台机器上分别查看分发后的文件
cd /develop/server/
ll
4.3分别在三台机器上配置hadoop环境变量
vim /etc/profile.d/my_env.sh# HADOOP_HOME
export HADOOP_HOME=/develop/server/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
4.4刷新环境变量
source /etc/profile
4.5另外两台机器同样配置环境变量
5.启动hadoop集群
5.1首次启动hdfs时需要格式化，在node1执行以下命令
hadoop namenode -format
5.2启动相关服务，三种启动方式
5.2.1单节点逐一启动，
5.2.1.1启动namenode，在node1执行以下命令
hadoop-daemon.sh start namenode
5.2.1.2三台机器分别启动datanode,在node1、node2、node3上，分别使用以下命令启动 datanode
hadoop-daemon.sh start datanode
5.2.1.3在node1启动resourcemanager
yarn-daemon.sh start resourcemanager
5.2.1.4在node1、node2、node3上使用以下命令启动YARN nodemanager
yarn-daemon.sh start nodemanager
5.2.1.5在node2上启动secondarynamenode
hadoop-daemon.sh start secondarynamenode
5.2.1.6在node1上启动historyserver
mr-jobhistory-daemon.sh start historyserver
5.2.1.7查看服务启动情况，分别在三台机器执行jps命令
5.2.1.8关闭服务
如果要关闭服务只需将上面命令中的start改为stop即可
5.2.2使用hadoop自带脚本启动，以下命令在node1执行
5.2.2.1启动hdfs
start-dfs.sh
5.2.2.2启动yarn
start-yarn.sh
5.2.2.3启动历史任务服务
mr-jobhistory-daemon.sh start historyserver
5.2.2.3关闭服务
stop-dfs.shstop-yarn.shmr-jobhistory-daemon.sh stop historyserver
5.2.3一键启动脚本:hadoop集群启动脚本
6.访问集群UI页面
6.1 namenode集群页面
http://ip:50070/ 
6.2 yarn集群页面
http://ip:8088/cluster
6.3mapreduce历史任务页面
http://ip:19888/jobhistory
到此，hadoop集群搭建完毕