异构场景下DataNode的容量均衡

1.配置异构场景下DataNode的容量均衡

本文是对资料整理和向高手请教得到的方案汇总。在hdfs建设过程中值得优化的一项。

借鉴：https://hadoop.apache.org/docs/r3.1.0/，Hdfs参数手册，华为MR服务手册

背景：在DataNode磁盘异构差距较大，并且大量磁盘较小的DataNode剩余空间不足的情况下（例如剩余128M多一点）如何防止HDFS写数据失败。

目标：解决节点磁盘异构，减少磁盘空间存在大规模差异。

方案1：配置块放置策略为按可用空间百分比的分配策略

#原理：
	该块放置策略的原理为，第一个副本放置本地，另外两个副本随机从集群中选择，并更大概率放置在剩余空间比较多的节点，这样就可以使配置磁盘比较小的节点不至于很快被占满。

#操作：
	1.将“dfs.block.replicator.classname”设置为“org.apache.hadoop.hdfs.server.blockmanagement.AvailableSpaceBlockPlacementPolicy”。
	2.调整“dfs.namenode.available-space-block-placement-policy.balanced-space-preference-fraction”参数，配置可用空间百分比。该参数默认值为“0.6”，由于当前各节点之间磁盘空间差异非常大，建议调高该系数为“0.9”。
	
#说明：
	1.如果第一个副本放置本地失败，则所有的副本都是按照上述的概率规则从其他节点选取。
	2.基于该策略，剩余空间比较多的节点接受到的写请求相对多一些，该节点的IO负载也比剩余空间比较少的节点相对高一些。

方案2：执行Balance操作均衡DataNode的空间占用，使空间基本使用完的DataNode节点腾出部分空间。

Balance操作对系统的影响：

​ 执行Balance操作时会占用DataNode的网络带宽资源，请根据业务需求在维护期间执行任务。
​ 默认使用带宽控制为20MB/s，如果重新设置带宽流量或加大数据量，Balance操作可能会对正在运行的业务产生影响。

(可选)修改Balance的最大带宽

#操作：
	hdfs dfsadmin -setBalancerBandwidth <bandwidth in bytes per second>
	#表示带宽控制的数值，单位为字节。例如要设置带宽控制为每秒20MB，对应值为20971520，完整命令为：
	hdfs dfsadmin -setBalancerBandwidth 20971520
	
#说明
	<bandwidth in bytes per second>默认为20M/s，适用于当前集群使用万兆网络，且有业务正在执行的场景。若有足够的业务空闲时间窗用于Balance维护，可适当增加该值以缩短Balance时间。
	如果DataNode节点的带宽无法达到指定的最大带宽，可以在FusionInsight Manager修改HDFS的参数“dfs.datanode.balance.max.concurrent.moves”，将每个DataNode节点执行均衡的线程数修改为“30”，并重启HDFS服务。

启动Balance任务

#操作
bash start-balancer.sh -threshold <threshold of balancer> -policy blockpool -blockpool <BLOCK_POOL_ID>

-threshold：表示HDFS数据达到平衡状态时DataNode磁盘使用率偏差值，各个DataNode节点磁盘的使用率和整体HDFS集群的磁盘空间平均使用率偏差小于此阈值时，系统认为HDFS集群已经达到了平衡的状态并结束Balance任务。
-policy：可以取值为blockpool和datanode。
blockpool：按照Block Pool进行均衡。
datanode：按照DataNode整个磁盘使用情况进行均衡。如果使用该方式，则无需-blockpool参数。
-blockpool：如果需要仅对某一个或者部分NameService进行均衡，可使用-blockpool参数指定对应的Block Pool。如果不指定默认对所有的Block Pool进行均衡。
<BLOCK_POOL_ID>为需要均衡的Block Pool ID，可以在待均衡的NameNode原生页面的“Overview”页面获取其所属的“Block Pool ID”的值。

-include：如果只需要对部分节点进行数据均衡，可以在脚本上加上-include参数指定要移动的节点。具体参数使用方法，可通过命令行查看。
例如，需要设置偏差率为10%，对ID为blockpooltest的Block Pool进行均衡，则执行：

bash start-balancer.sh -threshold 10 -policy blockpool -blockpool blockpooltest



#说明
Balance任务 生成名为hadoop-root-balancer-主机名.out日志。Balance任务完成后，打开该日志可以看到如下字段信息：
    Time Stamp：时间戳
    Bytes Already Moved：已经移动的字节数
    Bytes Left To Move：待移动的字节数
    Bytes Being Moved：正在移动的字节数

方案3：开启自动Balance功能

#操作
	1.将配置项“dfs.balancer.auto.enable”设置为“true”，保存配置，无需重启HDFS服务。
	2.“dfs.datanode.balance.bandwidthPerSec”可以设置带宽数值，需要重启DataNode服务。

#备注：
	1.任务执行日志保存在主NameNode节点中，请查看“/var/log/Bigdata/hdfs/nn/hadoop-omm-balancer-主机名.log”。
	2.详细内容可以参见配置DataNode容量均衡章节。