[Cascading]~Hadoop Cascading简介

Hadoop Cascading简介 - 我的学习成长日记 - 博客频道 - CSDN.NET
http://blog.csdn.net/OnlyQi/article/details/50781876

Hadoop Cascading 是一个开源框架，该框架搭建在Hadoop之上。Cascading提供了一系列易用的数据操作API，如count，group by，join等等共开发人员直接使用，且该框架自动将这些数据操作翻译为底层Hadoop可运行的Map和reduce操作，从而大大加快程序开发速度。
Cascading中使用了一系列特有的概念如flow(数据流)，tap，pipe(数据管道)等。flow可以理解为一个数据流，数据流过时被一一处理。flow的起点是source tap，也就是数据源；终点是sink tap也就是数据输出。tap之间由pipe相连接。下列代码可以容易的理解它们的相互关系：
用例一
String inPath = args[ 0 ];Tap inTap = new Hfs( new TextDelimited( true, "\t" ), inPath );String outPath = args[ 1 ];Tap outTap = new Hfs( new TextDelimited( true, "\t" ), outPath );Pipe copyPipe = new Pipe( "copy" );FlowDef flowDef = FlowDef.flowDef() .setName( "copy" ) .addSource( copyPipe, inTap ) .addTailSink( copyPipe, outTap );Flow wcFlow = flowConnector.connect( flowDef );wcFlow.complete();

上面就是一个完整的Cascading小程序，它简单的将文件从源目录拷贝到目标目录。首先我们定义了in tap和out tap，它们都是HDFS中的目录。之后我们定义了一个名为“copy”的pipe。然后定义了一个flow，由代码可知我们给这个flow添加了source tap和sink tap，由“copy”pipe相连。最后启动这个flow。
我们再来回顾一下这个过程。Cascading会形成由一个或多个step构成的物理执行计划，通常我们称之为有向无环图(DAG，它在大数据领域得到了广泛应用，例如在Hive中执行HQL时，实际也是自动产生了DAG并在Hadoop上运行）。当Cascading运行时，数据以键值对的形式流过DAG图。一个step在Hadoop中可能对应多个map或reduce阶段。例如我们知道在Hadoop中做join操作需要编写reducer来完成，那么在cascading中虽然我们简单的使用其提供的join API，但实际上该API会被转换为reducer并在Hadoop上执行。
接下来再看一个复杂一些的例子，如何使用cascading计算word count。word count在大数据领域就像打印“hello world”一样，是经典的入门案例。如果不清楚这个案例，请先参考文章《MapReduce概念》： http://blog.csdn.net/onlyqi/article/details/50477899
用例二 word count的第一步是将输入的字符串按空格分隔，得到一个一个的单词：
Fields token = new Fields( "token" );Fields text = new Fields( "text" );RegexSplitGenerator splitter= new RegexSplitGenerator( token, "[ \[\]\(\),.]" );Pipe docPipe = new Each( "token", text, splitter, Fields.RESULTS );

定义一个splitter，并按照splitter中定义的正则表达式将输入字符串分隔成一个一个的单词，也称为token。从docPipe流出的即为一个一个的单词。注意new each()指对每一个输入的键值对都应用该逻辑。
Pipe wcPipe = new Pipe( "wc", docPipe );wcPipe = new GroupBy( wcPipe, token );wcPipe = new Every( wcPipe, Fields.ALL, new Count(), Fields.ALL );

定义名为wcPipe的管道，与docPipe相连。在wcPipe中根据token做groupby操作，也就是汇总操作。注意new every()指在一批键值对上做操作，即聚合操作。
FlowDef flowDef = FlowDef.flowDef().setName( "wc" ).addSource( docPipe, docTap ).addTailSink( wcPipe, wcTap );

最后定义flow，执行flow并将结果写入wc.dot文件： Flow wcFlow = flowConnector.connect( flowDef ); wcFlow.writeDOT( “dot/wc.dot” ); wcFlow.complete();
总得来说代码量还是比较少的，但个人感觉语义设计的不是很清晰。