并发编程框架之FlumeJava

基于map-shffle-reduce,google的一些开发人员也实现了另外一些好用的并行计算编程框架,FlumeJava就是其中的一种。

http://faculty.neu.edu.cn/cc/zhangyf/cloud-bigdata/papers/big%20data%20programming/FlumeJava-pldi-2010.pdf

从介绍来看,FlumeJava的出发点应该是map-reduce job不是那么容易写,并且如果一个任务需要很多的map-reduce过程结合就更麻烦了。而且当一连串的map-reduce需要运行的时候,如何优化也不是件容易的事情。

FlumeJava让并发编程更容易的设计基础是,将map-shuffle-combine-reduce作为meta元素融合进来,并且提供一些基本的运算函数,比如count,group,join,这使得一些常见的编程任务变得比较容易。

当用户有一连串的并发任务要一起运行的时候,FlumeJava还会尝试进行优化,采取的办法有经典的loop fusion优化,也有传统数据库使用的push down condition优化,优化的核心基础是减少文件IO,减少重复运行的任务,减少通信。

试验证明,FlumeJava的代码量比普通的map-reduce job少20%以上,并且执行效率也接近人工优化之后的map-reduce job。

整体上看,FlumeJava主要是工程问题,开发人员考虑的是如何更简单的进行并发编程,而不是简单的提出一种新模型、新概念,这个务实的精神是google一贯的风格。

让我感兴趣的是FlumeJava的开发人员之前曾经开发了另外一款并发编程框架,叫做LumberJack,实践证明,该工具很难用,于是FlumeJava诞生并赢得了不少开发人员的喜欢。比起现实中有些开发人员不关注用户,只关注高深代码,这层次高太多了。

你可能感兴趣的:(Flume)