Hadoop中 常用端口说明和相关配置文件

目录

1. Hadoop中常用端口说明

2. Hadoop中常用配置文件说明

2.1 配置文件分类

2.2 默认配置文件

2.3 自定义配置文件

core-site.xml

hdfs-site.xml

yarn-site.xml

mapred-site.xml

---

1. Hadoop中常用端口说明

端口名称	Hadoop2.x	Hadoop3.x	端口配置
NameNode服务所在服务器的IP和端口号	8020 / 9000	8020 / 9000/9820	core-site.xml        fs.defaultFS        hdfs://hadoop01:8020
HDFS Web UI 的IP和端口号	50070	9870	hdfs-site.xml       dfs.namenode.http-address       hadoop01:9870
Yarn Web UI 的IP和端口号	8088	8088	yarn-site.xml         yarn.resourcemanager.webapp.address         RM_IP:8088 tips：RM_IP = ${yarn.resourcemanager.hostname}
数据传输的datanode服务器地址和端口	9866	9866	hdfs-site.xml       dfs.datanode.address       0.0.0.0:9866

​​​​​​

2. Hadoop中常用配置文件说明

2.1 配置文件分类

Hadoop中配置文件分两类:  默认配置文件 、自定义配置文件

tips: 用户想修改默认值配置时，只需要在自定义文件中修改相应配置项即可(不指定时，使用默认配置)

---

2.2 默认配置文件

方式1: 从官网查看默认配置项

官网连接：传送门

方式2: 从 hadoop安装包内 查看

默认配置文件名称	默认配置文件所在的位置
core-default.xml	$HADOOP_HOME/share/hadoop/common/hadoop-common-3.2.3.jar/core-default.xml
hdfs-default.xml	$HADOOP_HOME/share/hadoop/hdfs/hadoop-hdfs-3.2.3.jar/hdfs-default.xml
yarn-default.xml	$HADOOP_HOME/share/hadoop/yarn/hadoop-yarn-common-3.2.3.jar/yarn-default.xml
mapred-default.xml	$HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-client-core-3.2.3.jar/mapred-default.xml

2.3 自定义配置文件

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置

core-site.xml

    
    
        fs.defaultFS
        hdfs://worker:8020
    

    
    
        hadoop.tmp.dir
        /home/software/hadoop-3.2.3/data
    
    
    
    
        hadoop.http.staticuser.user
        worker01
    

hdfs-site.xml

    
    
        dfs.namenode.http-address
        worker01:9870
    

    
    
        dfs.namenode.secondary.http-address
        worker02:9868
    

    
    
        dfs.replication
        1
    

    
    
        dfs.client.use.datanode.hostname
        true
    

    
    
        dfs.datanode.address
        worker01:9866
    

    
    
        dfs.datanode.http.address
        worker01:9864
    

yarn-site.xml

    
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    

    
    
        yarn.resourcemanager.hostname
        worker01
    

    
    
        yarn.nodemanager.env-whitelist
        
            JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
        
    

mapred-site.xml

    
    
        mapreduce.framework.name
        yarn