DateNode多目录配置

步骤总结:

  • 关闭集群
  • 删除data和logs(删除所有集群)
  • 修改
  • 同步
  • 重新格式化:
  • 重新启动
  • 查看结果

DateNode多目录配置_第1张图片

data目录中存储了当前hdfs的数据,包括nn和dn,data存放dn数据,name存放nn数据

数据均放在一个目录下,

配置dataNode多目录:

1.停集群

myhadoop.sh stop

2.删除集群上每台服务器的Hadoop安装目录下的data和logs

pwd:/opt/module/

rm -rf data/ logs/

3.修改hdfs-site.xml

pwd:/opt/module/hadoop-3.1.3/etc/hadoop  

 DateNode多目录配置_第2张图片

     dfs.datanode.data.dir

     file://${hadoop.tmp.dir}/dfs/data1,file://${hadoop.tmp.dir}/dfs/data2

4.同步:xsync hdfs-site.xml

5.格式化

hdfs namenode -format

DateNode多目录配置_第3张图片

 5.启动集群

myhadoop.sh start

6. 查看

DateNode多目录配置_第4张图片

查看结果,已经有了2个dn,轮流保存上传的数据

上传2个文件,分别保存在data1和data2

DateNode多目录配置_第5张图片

 

  DateNode多目录配置_第6张图片

你可能感兴趣的:(Hadoop,hdfs,大数据,hadoop)