Yahoo! 启动了世界上最大的Hadoop生产应用[译]

原文:http://developer.yahoo.net/blogs/hadoop/2008/02/yahoo-worlds-largest-production-hadoop.html

 

 

最近,Yahoo! 启动了目前世界上最大的Apache Hadoop生产应用。Yahoo! Search WebmapHadoop应用,运行在超过10000Linux系统的集群里。Yahoo! 的网页搜索查询使用的数据正是由它生产的。

 

Webmap的构建从Yahoo! 对网页的爬行开始,之后产出包含一个所有已知网页和互联网站点的数据库,还生成一个关于所有页面和站点的海量数据组。这些数据再输送给位于Yahoo! Search中心懂得排行算法的计算机。

 

一些Webmap数字:

l  索引中页面间的链接数量:大概1T 个链接

l  数据产出量的大小:超过300T,还是经过压缩的!

l  运行一个Map-Reduce任务的核心数量:超过10000

l  生产环境中使用的存储量:超过5P

 

这个流程并不新鲜,新鲜的是Hadoop的使用。Hadoop让我们系统只用前Hadoop时代66%的时间运行同一个流程。它在做管理的同时处理了上述的流程。我们更加相信随着我们加大Hadoop的规模,我们将可以根据需要增大生产任务至更大的集群规模。

 

YahooWebmapHadoop开发,我们的团队感到非常的兴奋。因为尽管Hadoop还处在开发的初级阶段(甚至是未成熟阶段),Hadoop就已经可以以低成本的方式胜任真正互联网级别的项目。这个以及Yahoo!其他生产系统的开发,其他组织证明Hadoop正获得市场的青睐,其价值正在增加。

 

 

2006年以来,Yahoo!网格计算团队一直在很多研究和开发任务中使用和增强Hadoop。将Hadoop从一个两年前还在几十个计算机上运行,带领成为今天成千上万上计算机上运行的系统,我们感到非常的骄傲。Webmap证明了Hadoop解决真正互联网级别问题,令人信任地在一个大型生产规模运作的能力。可以说,Yahoo!每月产生的几十亿个Web搜索查询结果很大程度归功于Hadoop集群生产的数据。

 

Eric Baldeschwieler
Senior Director, Grid Computing
Yahoo! Inc.

你可能感兴趣的:(apache,linux,hadoop,互联网,Yahoo)