秋招吐槽——hdfs联邦制度

如题，起因是今年秋招我曾面过北京appannie的大数据开发岗，技术面的时候面试官有问我一个很奇怪的问题

 

前面我们讨论了下关于集群如何保证高可用性，我说做成HA的，两个master，一个挂了，另一个接替

然后他问我，“两个master是同时运行的吗？”，我说“不是，一个action，一个是standby，二者的元数据是相同的。”

他这时候就问我，应该如何优化这种模式，因为你有2个主节点，一个运行，一个不运行，势必会有资源浪费

 

我当时就一愣，因为从没思考过这方面的问题，也没接触过类似的，我想了想，回答不知道

然后面试官就回答我说 “让两个都一起运行啊，这么简单都想不到吗？”

 

我就很懵，立刻我就反问道：“那你是如何解决脑裂问题的？两个master一起运行那不得打架？”

面试官就一脸高深莫测的说：“你下去自己看看吧，我就不跟你说了。”

 

直到现在，我TMD才明白那是个什么玩意，他的问法完全就是错的，只要配成HA模式，势必会有一个action状态的master和至少一个standby状态的master（3.0支持多个standby状态的master）

所以完全不可能两个都运行，这TMD是从底层原理上就限制了的

 

他想问的，应该是“Hadoop 的 NN 所使用的资源受所在服务的物理限制，不能满足实际生产需求时，应该怎么做？”

 

这问题就很明了了，hdfs联邦制就是去解决这个问题了，即多个ha 联合组成一套集群环境，对外提供一致接口【ViewFs】（相当于扩容） 
即cluserID 相等，但是相同的datanode服务于不同的namenode。 
原理是通过namenodeID和blockPool-id来判别文件存放的位置。（相当于不同的namenode就是不同的入口，通过这些入口都可以访问都同一套东西，但因为有了多个入口，所以对于单个入口的压力变小了）

 

但那怕是这种的，也是一定会有至少一个standby状态的master，不可能存在一个没有standby状态的master，那就不叫HA了，坑啊