4 hadoop集群配置案例

3）配置集群

（1）核心配置文件，core-site.xml

cd $HADOOP_HOME/etc/hadoop

vim core-site.xml

文件内容如下：

<configuration>
    
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://hadoop102:8020value>
    property>

    
    <property>
        <name>hadoop.tmp.dirname>
        <value>/opt/module/hadoop-3.1.3/datavalue>
    property>

    
    <property>
        <name>hadoop.http.staticuser.username>
        <value>atguiguvalue>
    property>
configuration>

（2）HDFS配置文件,hdfs-site.xml

vim hdfs-site.xml

文件内容如下：

"1.0" encoding="UTF-8"?>
type="text/xsl" href="configuration.xsl"?>


	<!-- nn web端访问地址-->
	
        dfs.namenode.http-address</name>
        hadoop102:9870</value>
    </property>
	<!-- 2nn web端访问地址-->
    
        dfs.namenode.secondary.http-address</name>
        hadoop104:9868</value>
    </property>
</configuration>

（3）YARN配置文件,yarn-site.xml

vim yarn-site.xml

文件内容如下：

    <!-- 指定MR走shuffle -->
    
        yarn.nodemanager.aux-services</name>
        mapreduce_shuffle</value>
    </property>

    <!-- 指定ResourceManager的地址-->
    
        yarn.resourcemanager.hostname</name>
        hadoop103</value>
    </property>

    <!-- 环境变量的继承 -->
    
        yarn.nodemanager.env-whitelist</name>
        JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration>

（4）MapReduce配置文件,mapred-site.xml

vim mapred-site.xml

文件内容如下：

"1.0" encoding="UTF-8"?>
type="text/xsl" href="configuration.xsl"?>


	<!-- 指定MapReduce程序运行在Yarn上 -->
    
        mapreduce.framework.name</name>
        yarn</value>
    </property>
</configuration>

2. 在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-3.1.3/etc/hadoop/

3. 去103和104上查看文件分发情况

cat /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml