HiC2011：四大企业NameNode优化思路

文章讲的是 HiC2011：四大企业NameNode优化思路， 2011年12月2日、3日，Hadoop in China 2011大会，在北京会议中心隆重召开，本次大会以“海量数据掘宝”为主题，吸引了千余名来自国内外的hadoop专家和企业用户，这也意味着Hadoop的蓬勃发展趋势已经不可阻挡。

▲点击查看IT168视频直播专题

　　下午分会场一《Hadoop生态系统》的圆桌讨论的以如何优化NameNode的性能为主题，来自ebay、淘宝、百度、中科院计算所的专家分别介绍了不同的NameNode的优化思路。

　　eBay：高可靠性

　　eBay对于NameNode的可靠性需求比较高，比如任何一个NameNode死掉的时候，Cluster集群都需要继续正常工作，因此，Master NameNode需要故障转移到任何一个冗余的NameNode，所有的冗余NameNode失败都不能影响到Name Node服务；冗余NameNode可以随时加入到集群中等等。

▲

▲

▲

　　淘宝：从单NameNode到多NameNode

　　来自淘宝的罗李表示，淘宝有一个很大集群，很大的数据、文件，现在存在一些问题，比如说刚刚重启的时候会有一段很长时间的准备时间，对于在线业务或其他的紧急作业无法及时处理。所要做的事情是从单NameNode到多NameNode，每一个NameNode没有主从结构，把NameNode内存里面所有的结构全部都实体化。

　　百度：HDFS2——HDFS的一种分布式NameNode实现

　　当时启动项目的时候的宏伟目标在很短时间内达到一万台集群的规模，是什么因素限制可可扩展？主要有两个方面，最重要的就是内存，其次就是吞吐量的压力。通过一个对象管理层，把文件看做对象，对象底层的东西如Owner等独立出来。

原文发布时间为：2011-12-02

本文作者： 唐蓉

本文来自云栖社区合作伙伴IT168，了解相关信息可以关注IT168。