搜索引擎名人堂之Doug Cutting

Doug Cutting是一个开源搜索技术的提倡者和创造者。他和Mike Cafarella发起Lucene和Nutch开源搜索项目,这些项目现在被Apache软件基金会管理。早期开发Luncene,Doug研究搜索技术还在Excite,apple公司和Xerox PARC。Lucene是一个搜索索引索器,Nutch有一个蜘蛛或爬虫,是一个普通开源搜索平台的两个关键组件,首先爬取网络内容,然后将其构建到一个可查询的索引里。Cutting的这两个项目的领导能力延伸到普通开源软件项目的概念和处理能力,就像Linux和MYSQL在搜索垂直领域的重要性。很难跟踪这些平台的从业者的数量,公共报道称,运用lucene和它的直接子项目solr多个风险投资启动,预示着它已经到了一个应用重要级别。也许最重要的lucene开发在是wikipedia,它一个完全站点的强大搜索。

在2004年11月,Google实验室发布了一个MapReduce算法的报告,它通过大量集群服务器进行的大型平行计算。Cutting意识到这份报告的重要性,要扩展lucene到极端巨大的搜索领域,创建了开源项目Hadoop框架,它是让基于MapReduce的范例运行在大集群普通硬件上。他当前是Yahoo的一个正式雇员,全职领导 Hadoop项目。

你可能感兴趣的:(mapreduce,hadoop,搜索引擎,Solr,Lucene)