Hadoop 配置文件详解

Hadoop 的主要配置文件及描述：

配置文件	功能描述
hadoop-env.sh	配置 Hadoop 运行所需的环境变量
yarn-env.sh	配置 YARN 运行所需的环境变量
core-site.xml	Hadoop 核心全局配置文件，可在其他配置文件中引用该文件
hdfs-site.xml	HDFS 配置文件，继承 core-site.xml 配置文件
mapred-site.xml	MapReduce 配置文件，继承 core-site.xml 配置文件
yarn-site.xml	YARN 配置文件，继承 core-site.xml 配置文件

Hadoop 的配置存放在其安装目录下的 /etc 下。

配置文件的内容是伪分布式配置文件。

https://hadoop.apache.org/docs/current/

core-site.xml： namenode 的地址和临时目录等

	

		fs.default.name
        
		hdfs://192.168.52.100:8020
	
	
		hadoop.tmp.dir
        
		/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
	
	
	
		io.file.buffer.size
		4096
	

	
	
		fs.trash.interval
		10080
	

 

hdfs-site.xml:  hdfs 的 web 访问界面

	 
	 

			dfs.namenode.secondary.http-address
			node01:50090
	
	
	
		dfs.namenode.http-address
		node01:50070
	
	
	
		dfs.namenode.name.dir
		file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
	
	
	
		dfs.datanode.data.dir
		file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
	
		
	
		dfs.namenode.edits.dir
		file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
	
	

	
		dfs.namenode.checkpoint.dir
		file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name
	
	
	
		dfs.namenode.checkpoint.edits.dir
		file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits
	

	
		dfs.replication
		3
	

	
		dfs.permissions
		false
	


		dfs.blocksize
		134217728
	

hadoop-evn.sh：Java 环境

export JAVA_HOME=/export/servers/jdk1.8.0_141

mapred-site.xml：yarn 的 web 地址 和 history 的 web 地址以及指定我们的 mapreduce 运行在 yarn 集群上

	
		mapreduce.framework.name
		yarn
	

	
		mapreduce.job.ubertask.enable
		true
	
		

	
		mapreduce.jobhistory.address
		node01:10020
	

	
		mapreduce.jobhistory.webapp.address
		node01:19888
	

yarn-site.xml：指定 resourceManager 的运行的机器

	
		yarn.resourcemanager.hostname
		node01
	
	

		yarn.nodemanager.aux-services
		mapreduce_shuffle
	
	
	
		yarn.log-aggregation-enable
		true
	

	
		yarn.log-aggregation.retain-seconds
		604800
	

mapred-env.sh：Java 环境

export JAVA_HOME=/export/servers/jdk1.8.0_141

当然还涉及到其他的文件比如 slaves 等文件。

当我们正常启动 Hadoop 集群后，其中启动 hdfs 后可以 jps 到 NameNode ，DataNode 和 Secondary NameNode ，启动 yarn 后会 jps 到 ResourceManager 和 NodeManager 。