Hadoop配置文件的作用 core-site.xml hadoop-env.sh hdfs-site.xml yarn-site.xml mapred-site.xml

1.hadoop-env.sh
由于Hadoop是java进程，所以需要添加jdk

# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.8.0_171//加入JAVA_HOME

2.core-site.xml
2.1指定namenode的位置
2.2hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在这个路径中。

<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://hadoop-master:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/usr/local/hadoop-2.8.3/tmpvalue>
property>

configuration>

3.hdfs-site.xml
3.1配置namenode和datanode存放文件的具体路径
3.2配置副本的数量，最小值为3，否则会影响到数据的可靠性

<configuration>

<property>
<name>dfs.namenode.name.dirname>
<value>/usr/local/hadoop-2.8.3/data/namevalue>
property>

<property>
<name>dfs.datanode.data.dirname>
<value>/usr/local/hadoop-2.8.3/data/datavalue>
property>

<property>
<name>dfs.replicationname>
<value>3value>
property>

<property>
<name>dfs.secondary.http.addressname>
<value>hadoop-master:50090value>
property>

configuration>

4.yarn-site.xml
Yarn.resourcemanager.hostname:资源管理器所在节点的主机名
Yarn.nodemanager.aux-services:一个逗号分隔的辅助服务列表，这些服务由节点管理器执行。该属性默认为空。

<configuration>

<property>
<name>yarn.resourcemanager.hostnamename>
<value>hadoop-mastervalue>
property>

<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>


configuration>

5.mapred-site.xml
注意：此文件本身是没有的，需要将mapred-site.xml.template重命名
Mapreduce.framework.name:决定mapreduce作业是提交到 YARN集群还是使用本地作业执行器本地执行。

<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>