jython对hadoop的封装项目

在Hadoop API的Python封装方面,著名音乐站点Last.fm发布了基于Python的Dumbo(小
飞象)项目,Dumbo能够帮助Python开发者更方便的编写Hadoop应用,并且Dumbo为MapReduce应用提供了灵活易用的Python
API。Last.fm的开发者,同时也是Dumbo项目发起人Klaas Bosteels
认为,对于定制Hadoop应用,使用Python语言代替Java会让工作变得更有效率。

另外一个相似的项目Happy,则为Jython

开发者使用Hadoop框架提供了便利,Happy框架封装了Hadoop的复杂调用过程,让Map-Reduce开发变得更为容易。Happy中的
Map-Reduce作业过程在子类happy.HappyJob中定义,当用户创建类实例后,设置作业任务的输入输出参数,然后调用run()方法即可
启动分治规约处理,此时,Happy框架将序列化用户的作业实例,并将任务及相应依赖库拷贝到Hadoop集群执行。目前,Happy框架已被数据集成站
点 freebase.com采纳,用于进行站点的数据挖掘与分析工作。

你可能感兴趣的:(mapreduce,框架,hadoop,python,jython,last.fm)