解决hadoop一直存在的瓶颈及扩展性问题,分布式数据存储层HDDS(hadoop新的subproject)
熟悉使用hadoop的同学应该都知道hadoop的一直存在的几个问题:1、单节点故障2、namenode的可扩展性3、小文件的存储第一个问题现在已经比较成熟的解决方案是做主节点的HA,既使用hadoop2系列版本中的方法,建立两个namenode,一个active状态,另一个是standby状态,两个节点保存的元数据一致,有一个节点服务挂掉之后,另一个节点可以自动顶替上。但是随着集群规模越来越大,