原来Hadoop也是无心下的产物

当人们提到大数据,就会联想到hadoop。对于hadoop的出现,Doug Cutting是最应该被记住的角色。他十年前的作品Hadoop运用分布式存储、运算技术为大数据处理带来了巨大突破,但很多人可能都猜不到hadoop的由来。

1985年Doug Cutting毕业于斯坦福大学,先后任职于Xerox、Architext、Yahoo和Cloudera,并开发了全球首个全文文本搜索的开源函数库Lucene、著名的开源搜索引擎Nutch,以及他最引人瞩目的作品Hadoop。

Hadoop之父Doug Cutting在全球数据盛会Strata Data Conference演讲中说道:
“当时我只是个人有这样的一个需要,就是想要做好手上的项目。”
谈起他开发Hadoop的初衷,Cutting表示,差不多十年前的项目伊始阶段,他并没有一个明确的Hadoop发展计划。 
2004年, 处于自由职业阶段的Cutting正在与好友从事一个代号为Nutch的项目的运转开发,旨在能够基于开源去创建出一种网络搜索的引擎,实现一种具有可扩展性、可收缩性的数据技术。巧合的是,Google同期发表的几篇论文与他们的想法十分切合,Cutting便顺势将Google的想法放到了Nutch项目当中来实施。 
就这样,对大数据运算产生了深远影响的开源软件框架Hadoop诞生了。 
在开发之初,Hadoop主要服务于搜索引擎和网站创建的服务,而此后,Hadoop也在制造、银行、电信等众多行业得到了广泛应用,Facebook、eBay、LinkedIn等公司都成为了Hadoop的用户。 
“当时我确实是没有预想到,这个技术创建出来以后具有如此之广的用途。Hadoop发展的演进范围、规模确实大大超出了我当初的预想。”Cutting笑着说道。

你可能感兴趣的:(hadoop资讯)