Google Percolator替代MapReduce

Google在新一代内容索引系统中放弃了MapReduce,替代者是尚不为人知的分布式数据处理系统Percolator。 The Register报道,Percolator是一种增量处理平台,它能持续更新索引系统,无需从头重新处理一遍整个系统。Google的工程师计划在下个月举行的年度USENIX Symposium 会议上公布Percolator相关论文。为了提高效率,MapReduce和其它批量处理系统创造了大数据批量,因此无法处理单个小规模的数据更新。Percolator系统便是为了解决这一问题,它能对一个大数据集增量处理更新。用Percolator替代MapReduce,每天处理相同数量的文档,能在搜索结果中将文档平均年龄(average age)减少50%。

你可能感兴趣的:(Google)