修改hdfs-site.xml配置文件

前言

配置Hadoop的主要5个文件

序号 配置文件名 配置对象 主要内容
1 hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息
2 core-site.xml 集群全局参数 用于定义系统级别的参数,如HDFS URL 、Hadoop的临时目录等
3 hdfs-site.xml HDFS 如名称节点和数据节点的存放位置、文件副本的个数、文件的读取权限等
4 mapred-site.xml Mapreduce参数 包括JobHistory Server 和应用程序参数两部分,如reduce任务的默认个数、任务所能够使用内存的默认上下限等
5 yarn-site.xml 集群资源管理系统参数 配置ResourceManager ,nodeManager的通信端口,web监控端口等

hdfs-site.xml最重要的参数及其解释如下:

No. 参数名 默认值 参数解释
1 dfs.namenode.secondary.http-address 0.0.0.0:50090 定义HDFS对应的HTTP服务器地址和端口
2 dfs.namenode.name,dir file://${hadoop.tmp.dir}/dfs/name 定义DFS的名称节点在本地文件系统的位置
3 dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data 定义DFS数据节点存储数据块时存储在本地文件系统的位置
4 dfs.replication 3 缺省的块复制数量
5 dfs.webhdfs.enabled true 是否通过http协议读取hdfs文件,如果选是,则集群安全性较差

  本小节修改dfs.replication参数为例
在这里插入图片描述

第一步:

  修改前
修改hdfs-site.xml配置文件_第1张图片
  修改后
修改hdfs-site.xml配置文件_第2张图片
  dfs.replication是数据需要备份的数量,默认是3,如果此数大于集群的机器数会出错。

第二步:

  保存退出

进阶

  通过hadoop官方网址查询core-site.xml 配置信息,可以了解最新的全部的core-site.xml 配置信息,而且包括一些过时的定义标识,从而更好地维护您的集群。

快速链接

上一篇 汇总目录 下一篇
5.2.2 修改core-site.xml配置文件(二) 云计算数据平台-hadoop集群    5.2.4 修改mapred-site.xml配置文件 (四)

你可能感兴趣的:(Hadoop集群,基础,Hadoop)