从Cassandra读取数据进行Map/Reduce的实现方法

 

本文以Cassandra 0.8中的hadoop_word_count为例:

https://svn.apache.org/repos/asf/cassandra/branches/cassandra-0.8/examples/hadoop_word_count/

 

需要安装插件:mapreducetools

下载地址:http://www.alphaworks.ibm.com/tech/mapreducetools

解压缩后将这个插件放入到eclipse安装目录下的plugins目录下。

需要重启eclipse

 


从Cassandra读取数据进行Map/Reduce的实现方法_第1张图片


从Cassandra读取数据进行Map/Reduce的实现方法_第2张图片

将编译Cassandra所生产的所有jar包都拷贝到WordCout目录下。


从Cassandra读取数据进行Map/Reduce的实现方法_第3张图片
 文件说明:

WordCount2.java为一个纯的MapReduce程序。

WordCount.java  Cassandra中读出数据进行计算然后存放到本地或者hdfs或者Cassandra中。

WordCountSetup.java Cassandra中创建Shcema,插入测试数据。

 


从Cassandra读取数据进行Map/Reduce的实现方法_第4张图片


从Cassandra读取数据进行Map/Reduce的实现方法_第5张图片
 
从Cassandra读取数据进行Map/Reduce的实现方法_第6张图片
 
从Cassandra读取数据进行Map/Reduce的实现方法_第7张图片
 
从Cassandra读取数据进行Map/Reduce的实现方法_第8张图片
 
从Cassandra读取数据进行Map/Reduce的实现方法_第9张图片

 

 

 

你可能感兴趣的:(java,eclipse,mapreduce,hadoop,cassandra)