绝对完美解决hdfs datanode数据和磁盘数据分布不均调整(hdfs balancer )——经验总结
Hadoop集群Datanode数据倾斜,个别节点hdfs空间使用率达到95%以上,于是新增加了三个Datenode节点,由于任务还在跑,数据在不断增加中,这几个节点现有的200GB空间估计最多能撑20小时左右,所以必须要进行balance操作。通过观察磁盘使用情况,发现balance的速度明显跟不上新增数据的速度!!!跟踪了一下balance的日志,发现两个问题:一是balance时原有的十几个