简单聊聊HDFS RBF第二阶段工作近期的一些进展

前言

---

前些时间Apache Hadoop 3.1.0版本正式发布，里面新增了很多feature以及一些bug fix,improvement改进。因为笔者本人最近几个月一直跟进，参与的是HDFS RBF这块，所以就简单聊聊这块所做的一些事情，旨在帮助大家方便了解这个feature具体做什么的。如果还有同学对RBF完全不太了解的，可以先阅读这篇博文：HDFS基于路由的Federation方案.

主要改进点

---

在这里笔者从用户的角度，来介绍一些对于我们来说会是一些比较好的改进或者是新功能。

1.DBMS State Store的实现支持（HDFS-13245），目前已有相关patch，正在review中。DBMS State Store在实际场景中其实是一个非常常见的一个存储方式，一旦这块能够支持了，那么RBF在应用性上将会好很多。

2.RBF成为一个独立的module模块（HDFS-13215），而不是在hadoop-hdfs工程里了，这样的话，它可以更好的独立完善和扩展。同时也会大大方便使用者对这块进行学习和改造。

3.Disable Nameservice功能的引入（HDFS-13484）。这个功能类似于DataNode Maintenance或者Decomission的功能。在这里节点的概念就是一个个Nameservice，表示临时将这个Nameservice下线（不允许读写），直到条件允许，再通过命令或者API来重新启用这个Nameservice.

4.Router拒绝请求处理功能（HDFS-13488）。此功能指的是当Router客户端的RPC使用线程数耗尽时，如果再有请求进来，会进行拒绝动作。默认情况下，此功能关闭，后面的请求会阻塞等待被处理。此功能在HA条件下会比较有用，这样后面的请求会被2个Router中负载小的一方处理掉。

5.缓存刷新功能（HDFS-13443）。我们知道RBF为了性能的考虑，每次Router实际不会每次真的从State Store中load Mount table信息，而是在中间加了一个缓存，然后定期去更新这个缓存。这就造成有时用户更新的Mount table信息不会立即对Router生效。而这块改进则弥补了这块的不足，本之上就是提高了一个外部能够主动刷新缓存的接口/命令。

6.其它。这里其它就有很多小方面的改进了，什么文档描述不准确的地方啊，管理员操作命令的使用优化啦，还有使用过程中，广大用户发现的各种小bug，不过这些都在HDFS-12615下进行了快速的跟进和解决。

OK，以上就是简单的小结了，希望对RBF感兴趣的同学们有帮助，:：）。