CentOS7搭建hadoop集群

说明:

        1.准备三台虚拟机,参考:CentOS7集群环境搭建(以3台为例)

        2.配置虚拟机间免密登陆:参考:CentOS7集群配置免密登录

        3.虚拟机分别安装jdk:参考:CentOS7集群安装JDK1.8

        4.hadoop安装包下载,下载地址

准备开始搭建hadoop集群,以下操作在第一台机器node1执行:

1.上传并解压hadoop安装包

1.1上传安装包到/develop/software

mkdir -p /develop/software
mkdir -p /develop/server
cd /develop/software
rz

CentOS7搭建hadoop集群_第1张图片

 1.2解压安装包到/develop/server

tar -zxvf hadoop-2.7.5.tar.gz -C /develop/server/

CentOS7搭建hadoop集群_第2张图片

 1.3切换到解压目录,查看解压后的文件

cd /develop/server/hadoop-2.7.5
ll

CentOS7搭建hadoop集群_第3张图片

2.修改hadoop配置文件

2.1切换到hadoop的etc/hadopp目录,修改hadoop-env.sh

cd /develop/server/hadoop-2.7.5/etc/hadoop/
ll
vim hadoop-env.sh

CentOS7搭建hadoop集群_第4张图片

 2.2配置hadoop-env.sh文件,修改jdk路径

export JAVA_HOME=/develop/server/jdk1.8.0_241

 2.3配置core-site.xml(hadoop的核心配置文件)在中配置以下内容

 

	fs.defaultFS
	hdfs://node1:8020
 

 
   hadoop.tmp.dir
   /develop/server/hadoop-2.7.5/data/tempdata


 
   io.file.buffer.size
   4096
 

 
   fs.trash.interval
   10080
 

CentOS7搭建hadoop集群_第5张图片

 2.4配置hdfs-site.xml(hdfs的核心配置文件),在中配置以下内容,注意secondaryNameNode和Namenode不要放在同一台机器上



	dfs.namenode.secondary.http-address
	node2:50090



	dfs.namenode.http-address
	node1:50070



	dfs.namenode.name.dir
	file:///develop/server/hadoop-2.7.5/data/nndata



	dfs.datanode.data.dir
	file:///develop/server/hadoop-2.7.5/data/dndata
	


	dfs.namenode.edits.dir
	file:///develop/server/hadoop-2.7.5/data/nn/edits



	dfs.namenode.checkpoint.dir
	file:///develop/server/hadoop-2.7.5/data/snn/name



	dfs.namenode.checkpoint.edits.dir
	file:///develop/server/hadoop-2.7.5/data/dfs/snn/edits



	dfs.replication
	3



	dfs.permissions
	true



	dfs.blocksize
	134217728

CentOS7搭建hadoop集群_第6张图片

CentOS7搭建hadoop集群_第7张图片

2.5复制mapred-site.xml.template,并更改名称为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
ll

CentOS7搭建hadoop集群_第8张图片

2.6配置mapred-site.xml(MapReduce的核心配置文件),在中配置以下内容



	mapreduce.framework.name
	yarn



	mapreduce.job.ubertask.enable
	true



	mapreduce.jobhistory.address
	node1:10020



	mapreduce.jobhistory.webapp.address
	node1:19888

CentOS7搭建hadoop集群_第9张图片

2.7配置mapred-env.sh,指定JAVA_HOME

export JAVA_HOME=/develop/server/jdk1.8.0_241

CentOS7搭建hadoop集群_第10张图片

2.8配置yarn-site.xml(YARN的核心配置文件) ,在中配置以下内容



	yarn.resourcemanager.hostname
	node1


	yarn.nodemanager.aux-services
	mapreduce_shuffle



	yarn.log-aggregation-enable
	true



	yarn.log-aggregation.retain-seconds
	604800


    
	yarn.nodemanager.resource.memory-mb    
	2048

  
	yarn.scheduler.minimum-allocation-mb
	2048


	yarn.nodemanager.vmem-pmem-ratio
	2.1

CentOS7搭建hadoop集群_第11张图片

 2.9配置slaves,slaves文件里面记录的是集群主机名,删除原有内容,配置以下内容

node1
node2
node3

CentOS7搭建hadoop集群_第12张图片

3.创建数据存放目录

mkdir -p /develop/server/hadoop-2.7.5/data/tempdata
mkdir -p /develop/server/hadoop-2.7.5/data/nndata
mkdir -p /develop/server/hadoop-2.7.5/data/dndata
mkdir -p /develop/server/hadoop-2.7.5/data/nn/edits
mkdir -p /develop/server/hadoop-2.7.5/data/snn/name
mkdir -p /develop/server/hadoop-2.7.5/data/dfs/snn/edits

4.文件分发

4.1将安装配置好的hadoop分发到另外两台机器

scp -r hadoop-2.7.5/ node2:$PWD
scp -r hadoop-2.7.5/ node3:$PWD

4.2在另外两台机器上分别查看分发后的文件

cd /develop/server/
ll

CentOS7搭建hadoop集群_第13张图片 CentOS7搭建hadoop集群_第14张图片

4.3分别在三台机器上配置hadoop环境变量

vim /etc/profile.d/my_env.sh
# HADOOP_HOME
export HADOOP_HOME=/develop/server/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

CentOS7搭建hadoop集群_第15张图片

 4.4刷新环境变量

source /etc/profile

CentOS7搭建hadoop集群_第16张图片

4.5另外两台机器同样配置环境变量 

5.启动hadoop集群

5.1首次启动hdfs时需要格式化,在node1执行以下命令

hadoop namenode -format

CentOS7搭建hadoop集群_第17张图片

 5.2启动相关服务,三种启动方式

5.2.1单节点逐一启动,

5.2.1.1启动namenode,在node1执行以下命令

hadoop-daemon.sh start namenode

5.2.1.2三台机器分别启动datanode,在node1、node2、node3上,分别使用以下命令启动 datanode

hadoop-daemon.sh start datanode

CentOS7搭建hadoop集群_第18张图片

5.2.1.3在node1启动resourcemanager

yarn-daemon.sh  start resourcemanager

5.2.1.4在node1、node2、node3上使用以下命令启动YARN nodemanager

yarn-daemon.sh start nodemanager

5.2.1.5在node2上启动secondarynamenode

hadoop-daemon.sh start secondarynamenode

 5.2.1.6在node1上启动historyserver

mr-jobhistory-daemon.sh start historyserver

5.2.1.7查看服务启动情况,分别在三台机器执行jps命令

CentOS7搭建hadoop集群_第19张图片

CentOS7搭建hadoop集群_第20张图片

 CentOS7搭建hadoop集群_第21张图片

 5.2.1.8关闭服务

如果要关闭服务只需将上面命令中的start改为stop即可

5.2.2使用hadoop自带脚本启动,以下命令在node1执行

5.2.2.1启动hdfs

start-dfs.sh

CentOS7搭建hadoop集群_第22张图片

 5.2.2.2启动yarn

start-yarn.sh

CentOS7搭建hadoop集群_第23张图片

5.2.2.3启动历史任务服务

mr-jobhistory-daemon.sh start historyserver

5.2.2.3关闭服务

stop-dfs.sh
stop-yarn.sh
mr-jobhistory-daemon.sh stop historyserver

CentOS7搭建hadoop集群_第24张图片

CentOS7搭建hadoop集群_第25张图片

5.2.3一键启动脚本:hadoop集群启动脚本

6.访问集群UI页面

6.1 namenode集群页面

http://ip:50070/ 

CentOS7搭建hadoop集群_第26张图片

6.2 yarn集群页面

http://ip:8088/cluster

CentOS7搭建hadoop集群_第27张图片

6.3mapreduce历史任务页面

http://ip:19888/jobhistory

CentOS7搭建hadoop集群_第28张图片

到此,hadoop集群搭建完毕

你可能感兴趣的:(Linux,hadoop,大数据,linux)