Hadoop之——配置文件的作用

转载请注明出处：https://blog.csdn.net/l1028386804/article/details/93378525

1.hadoop-env.sh

主要用来配置Hadoop JDK

export JAVA_HOME=/usr/local/jdk1.8.0_212

2.core-site.xml

• 指定namenode的位置
• hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在这个路径中。

	
		fs.defaultFS
		hdfs://binghe100:9000
	
	
		hadoop.tmp.dir
		/usr/local/hadoop-3.2.0/tmp
	

3.hdfs-site.xml

• 配置namenode和datanode存放文件的具体路径
• 配置副本的数量，最小值为3，否则会影响到数据的可靠性

	
		dfs.namenode.name.dir
		/usr/local/hadoop-3.2.0/data/name
	
	
		dfs.datanode.data.dir
		/usr/local/hadoop-3.2.0/data/data
	
	
		dfs.replication
		3
	
	
		dfs.secondary.http.address
		binghe100:50090
	

4.yarn-site.xml

• yarn.resourcemanager.hostname:资源管理器所在节点的主机名
• yarn.nodemanager.aux-services:一个逗号分隔的辅助服务列表，这些服务由节点管理器执行。该属性默认为空。

	 
		yarn.resourcemanager.hostname
		binghe100
	
	
		yarn.nodemanager.aux-services
		mapreduce_shuffle
	

5.mapred-site.xml

• Hadoop3.0之前，此文件本身是没有的，需要将mapred-site.xml.template重命名
• mapreduce.framework.name:决定mapreduce作业是提交到 YARN集群还是使用本地作业执行器本地执行。

	
		mapreduce.framework.name
		yarn
	

至此，配置文件介绍完毕。