本地搭建hadoop集群--hadoop集群部署

我的机器

master	slave1	salve2	slave3
namenode	datanode	datanode	datanode
	nodemanager	nodemanager	nodemanager
		resourcemanager	secondarynamenode

echo $JAVA_HOME

复制路径

 cd etc/hadoop/

（1）core-site.xml
vi core-site.xml

fs.defaultFS
hdfs://master:9000



hadoop.tmp.dir
/opt/module/hadoop-2.7.6/data/tmp

（2）Hdfs
hadoop-env.sh
vi hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

hdfs-site.xml

 

dfs.replication
3


dfs.namenode.secondary.http-address
slave3:50090

slaves
 vi slaves

slave1

slave2

slave3

（3）yarn
yarn-env.sh
vi yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

yarn-site.xml
vi yarn-site.xml

yarn.nodemanager.aux-services
mapreduce_shuffle



yarn.resourcemanager.hostname
slave2

（4）mapreduce
mapred-env.sh
vi mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

mapred-site.xml
vi mapred-site.xml

mapreduce.framework.name

yarn

 用脚本分发集群

1）启动集群
（0）如果集群是第一次启动，需要格式化 namenode
hdfs namenode -format
（1）启动 HDFS：
在hadoop目录  sbin/start-dfs.sh

（2）启动 yarn
在 slave2上 启动 yarn ,之前配置记得resourcemanager 配置在哪一台机器上

hadoop目录 sbin/start-yarn.sh