Hadoop2.0新特性

Hadoop2.0的改进

不断完善的Hadoop生态系统

Hadoop2.0新特性之HDFS HA

HDFS1.0存在单点故障问题,第二名称节点无法解决此问题
所以提出了HDFS HA(High Availability)

• HA集群设置两个名称节点,活跃(Active)和待命(standby)
• 两种名称节点的状态同步,可以借助于一个共享存储系统来实现
• 一旦活跃名称节点出现故障,就可以立即切换到待命名称节点
• Zookeeper确保一个名称节点对外服务
• 名称节点用于维护映射信息,数据节点同时向两个数据节点汇报信息
  

HDFS Federation

上面提到的HDFS HA用于解决单点故障问题,而水平扩展性受限,也无法解决系统性能和隔离性问题.

HDFS Federation设计

• 在HDFS Federation中，设计了多个相互独立的名称节点，使得HDFS的命名服务能够水平扩展，这些名称节点分别进行各自命名空间和块的管理，相互之间是联盟(Federation)关系，不需要彼此协调。并且向后兼容
• HDFS Federation中，所有名称节点会共享底层的数据节点存储资源，数据节点向所有名称节点汇报
• 属于同一个命名空间的块构成一个“块池

HDFS Federation相对于Hadoop1.0的优势

HDFS Federation设计可解决单名称节点存在的以下几个问题：
(1) HDFS集群扩展性。多个名称节点各自分管一部分目录，使得一个集
群可以扩展到更多节点，不再像HDFS1.0中那样由于内存的限制制约文件
存储数目
(2) 性能更高效。多个名称节点管理不同的数据，且同时对外提供服务，
将为用户提供更高的读写吞吐率
(3) 良好的隔离性。用户可根据需要将不同业务数据交由不同名称节点
管理，这样不同业务之间影响很小

需要注意的，HDFS Federation并不能解决单点故障问题，也就是说，每个名称节点都存在在单点故障问题，需要为每个名称节点部署一个后备名称节点，以应对名称节点挂掉对业务产生的影响.