HDFS存储多目录配置

HDFS存储多目录

若HDFS存储空间紧张，需要对DataNode进行磁盘扩展。

1. 在DataNode节点增加磁盘并进行挂载。

2. 在hdfs-site.xml文件中配置多目录，注意新挂载磁盘的访问权限问题。

<property>
    <name>dfs.datanode.data.dir</name>
<value>file:///${hadoop.tmp.dir}/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3,file:///hd4/dfs/data4</value>
</property>

3. 增加磁盘后，保证每个目录数据均衡
   开启数据均衡命令：

start-balancer.sh –threshold 10

对于参数10，代表的是集群中各个节点的磁盘空间利用率相差不超过10%，可根据实际情况进行调整。
停止数据均衡命令：

stop-balancer.sh

版权声明：
作者：十下
链接：https://blog.edkso.cn/?p=448
来源：十下博客
文章版权归作者所有，未经允许请勿转载。