Hadoop中需要哪些配置文件，其作用是什么？

---

title: Hadoop中需要哪些配置文件，其作用是什么？
date: 2020-05-15 02:45:51
tags:

$$窍诀：遇到env就是JAV{A}_{H}OME$$

1）core-site.xml：

​ （1）fs.defaultFS:hdfs://cluster1(域名)，这里的值指的是默认的 HDFS 路径 。

​ （2）hadoop.tmp.dir:/export/data/hadoop_tmp，这里的路径默认是 NameNode、DataNode、secondaryNamenode 等存放数据的公共目录。用户可以自己单独指定这三类节点的目录。

​ （3）ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,这里的 ZooKeeper 集群的地址和端口。注意，数量一定是奇数，且不少于三个节点。

2）hadoop-env.sh：

只需设置 jdk 的安装路径，如：export JAVA_HOME=/opt/module/jdk1.8.0_144

3）hdfs-site.xml：

​ （1）dfs.replication:它决定着系统里面的文件块的数据备份个数，默认为3个。

​ （2）dfs.data.dir:datanode 节点储存在文件系统的目录。

​ （3）dfs.name.dir:是 namenode 节点存储 hadoop 文件系统信息的本地系统路径。

4）mapred-site.xml：

mapreduce.framework.name: yarn 指定 mr 运行在 yarn 上。