hdfs重平衡操作

重平衡时设置带宽很重要,如果太大担心影响线上服务运行,太小又会影响重平衡的速度。
通过修改配置dfs.datanode.balance.bandwidthPerSec=100m可以设置重平衡的带宽,但是需要重启服务

因此通过命令设置:

su hdfs -c “hadoop dfsadmin -setBalancerBandwidth 100m”

验证设置生效:

su hdfs -c “hadoop dfsadmin -getBalancerBandwidth hdfs-stage01.yingzi.com:8010”

执行重平衡:

nohup su - hdfs -c “hdfs balancer -policy DataNode -threshold 10.0” >> /tmp/hdfs_balance.out &

比较耗时,后台慢慢跑

threshold表示节点之间存储百分比的相差阈值
这里threshold设置10.0只是示例,如果hdfs各节点存储相差较大,我习惯第一次设置20.0,然后再缩小到10.0执行,如果觉得效果还不理想,再继续缩小这个值执行

你可能感兴趣的:(大数据,#,hdfs,备忘,hdfs,hadoop,重平衡)