Hapood端口及配置说明

目录

 

一、文档编写的目的

二、获取默认配置

三、常用的端口配置

3.1 HDFS端口

3.2 MR端口

3.3 其他端口 

---

一、文档编写的目的

hadoop主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件，默认下来，这些配置文件都是空的，所以很难知道这些配置文件有哪些配置可以生效，上网找的配置可能因为各个hadoop版本不同，导致无法生效。

本文主要介绍如何查找hadoop中有哪些配置，需要怎样配置，默认配置是什么等。

二、获取默认配置

要查看默认配置，有两个方法:

• 选择相应版本的hadoop,下载解压后，搜索*.xml,找到core-default.xml,hdfs-default.xml,mapred-default.xml,yarn-default.xml这些就是默认配置,可以参考这些配置的说明和key，配置hadoop集群。

以hadoop2.9.1为例的路径为：

core-default.xml：

     hadoop-2.9.1/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.xml

hdfs-default.xml：

    hadoop-2.9.1/share/doc/hadoop/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

mapred-default.xml：

    hadoop-2.9.1/share/doc/hadoop/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

yarn-default.xml：

   hadoop-2.9.1/share/doc/hadoop/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

• 浏览apache官网,三个配置文件链接如下(以hadoop2.9.1为例):

http://hadoop.apache.org/docs/r2.9.1/hadoop-project-dist/hadoop-common/core-default.xml

http://hadoop.apache.org/docs/r2.9.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

http://hadoop.apache.org/docs/r2.9.1/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

http://hadoop.apache.org/docs/r2.9.1/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

这里是浏览hadoop当前版本号的默认配置文件，其他版本号，要另外去官网找。

其中第一个方法找到默认的配置是最好的，因为每个属性都有说明，可以直接使用。

另外，core-site.xml是全局配置,hdfs-site.xml和mapred-site.xml分别是hdfs和mapred的局部配置。

三、常用的端口配置

3.1 HDFS端口

参数	描述	默认	配置文件	例子值
fs.default.name	namenode RPC交互端口	8020	core-site.xml	hdfs://master:8020/
dfs.http.address	NameNode web管理端口	50070	hdfs-site.xml	0.0.0.0:50070
dfs.datanode.address	datanode　控制端口	50010	hdfs-site.xml	0.0.0.0:50010
dfs.datanode.ipc.address	datanode的RPC服务器地址和端口	50020	hdfs-site.xml	0.0.0.0:50020
dfs.datanode.http.address	datanode的HTTP服务器和端口	50075	hdfs-site.xml	0.0.0.0:50075

 

 

 

 

 

 

 

3.2 MR端口

参数	描述	默认	配置文件	例子值
mapred.job.tracker	job tracker交互端口	8021	mapred-site.xml	hdfs://master:8021/
mapred.job.tracker.http.address	job tracker的web管理端口	50030	mapred-site.xml	0.0.0.0:50030
mapred.task.tracker.http.address	task tracker的HTTP端口	50060	mapred-site.xml	0.0.0.0:50060

 

 

 

 

 

3.3 其他端口 

参数	描述	默认	配置文件	例子值
dfs.secondary.http.address	secondary NameNode web管理端口	50090	hdfs-site.xml	0.0.0.0:28680