hadoop写mongodb问题记录(备忘)

1  java.lang.IncompatibleClassChangeError: Found class org.apache.hadoop.mapreduce.JobContext, but interface was expected,hadoop版本1.0.3,问题是JobContext是类,期望接口,原因是hadoop 1.x提供了两套map reduce,一套在org.apache.hadoop.mapred包中(老版本),另一套在org.apache.hadoop.mapreduce包中(新版本),http://comments.gmane.org/gmane.comp.db.mongodb.user/107468,这个帖子有相关描述。找到原因问题就可以解决了,升级hadoop使用2.x,可以解决,不过线上的hadoop集群是1.x的,跑着其他业务,不能动,只有使用mapred包下老版本的mapreduce了,http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html#Job+Control,这是老版本mapreduce官方使用demo,到此问题解决。

2 hadoop写mongodb参考例子http://superlxw1234.iteye.com/blog/1879268

你可能感兴趣的:(hadoop写mongodb问题记录(备忘))