hadoop文件存储位置_hdfs分布式文件系统 默认数据存放路径、及相关配置属性详细解析...

hdfs默认数据存放路径

1.  默认存放路径:{hadoop.tmp.dir} = /tmp/hadoop-${user.name}

即:$>  /tmp/hadoop-hyxy,

注意:/tmp是临时存放文件的路径,但是有时候系统重启,或者数据量太大的时候,系统会

删除里面某些数据,因此一般会修改路径到当前用户目录下:

即:$>   /home/hyxy/tmp/hadoop

理解格式化:

理解格式化的含义{创建dfs/name/fsimage和edit文件,针对namenode的守护进程}

开启namenode进程会失败:

失败的原因是:我们在core-site.xml修改了tmp路径:【/home/hyxy/tmp/hadoop】,

启动namenode服务的时候,系统找不到原来的路径:/${hadoop.tmp.dir}/dfs/name,

解决方法:

a.重新格式化,但,原有的HDFS的数据全部删除掉

b.复制{/tmp/hadoop-hyxy/dfs/name}至{/home/hyxy/tmp/hadoop/dfs}的路径下,问题解决。

2.查看系统日志

{$HADOOP_HOME/logs}:

如果服务没起来,可以查看日志文件,要是不想查看日志信息,可以hdfs  namenode /datanode;

也 可以查看出错的信息。

3.分别设置dfs的相关目录{name , data , namesecondary},(在hdfs-default.xml查找源码)

并在hdfs-site.xml添加:

name:

dfs.namenode.name.dir

file://${hadoop.tmp.dir}/dfs/name

#专门针对name的路径设置,不放在默认的路径下,可以指定我们的默认物理磁盘

确定本地文件系统上DFS名称节点的位置

应该存储名称表(fsimage)。 如果这是一个以逗号分隔的列表

的目录,然后名称表被复制到所有的目录中,以实现冗余。

data:

dfs.datanode.data.dir

file://${hadoop.tmp.dir}/dfs/data

确定本地文件系统上DFS数据节点的位置

应该存储它的块。 如果这是逗号分隔的

目录列表,然后数据将被存储在所有命名

目录,通常在不同的设备上。 目录应该被标记

与HDFS对应的存储类型([SSD] / [磁盘] / [存档] / [RAM_DISK])

存储政策。 如果目录不存在,则默认存储类型为DISK

没有明确标记的存储类型。 不存在的目录将

如果本地文件系统权限允许,则创建它。

namesecondary

dfs.namenode.checkpoint.dir

file://${hadoop.tmp.dir}/dfs/namesecondary

确定本地文件系统上DFS辅助名称节点应该存储要合并的临时像                                                            的位置。 如果这是一个以逗号分隔的目录列表,则图像将                                                                          复制到所有目录中以实现冗余。

上述红色字体:是修改name,data,namenodesecondary三个的路径。

你可能感兴趣的:(hadoop文件存储位置)