Hadoop的核心配置文件

Hadoop安装目录下添加JAVA_HOME

vi etc/hadoop/hadoop-env.sh

export JAVA_HOME=安装目录，和配置Java一样

修改主机名称: vi /etc/hostname

分别修改为master,slave01,slave02,slave03

然后重启

修改hosts文件: vi /etc/hosts

追加master,slave01,slave02,slave03的ip和主机名(四台主机都要追加四个ip地址)

例如:

182.168.x.x master

182.168.x.x slave01

182.168.x.x slave02

182.168.x.x slave03

主机间免密登录：https://blog.csdn.net/hongxiao2016/article/details/88823290

slaves(workers)文件写入datanode主机名：

在master机器的安装目录配置文件中找到slaves(或者workers)文件写入指定datanode节点主机名(localhost删除):

例如: vi slaves(workers)

slave01

slave02

slave03

core-site.xml文件修改为：

fs.defaultFS
hdfs://master:9000


hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.

 hdfs-site.xml文件修改为：

dfs.namenode.secondary.http-address
master:50090


dfs.namenode.name.dir
file:/usr/local/hadoop/tmp/dfs/name


dfs.datanode.data.dir
file:/usr/local/hadoop/tmp/dfs/data


dfs.replication
3

3为slave数目,所以 dfs.replicaton 值改成 3

mapred-site.xml修改为：

mapreduce.framework.name
yarn

 yarn-site.xml修改为：

yarn.resourcemanager.hostname
master


yarn.nodemanager.aux-services
mapreduce_shuffle

四台主机均要配置上述操作，至此配置基本完成

******************************************************************

在master主机上:namenode -format
                 然后: start-dfs.sh
                    再:start-yarn.sh

web访问

ip:50070(2.x)

或者ip:9870（Hadoop3.x)

结束