Java操作MongoDB Map Reduce的使用

因工作需要，把数据库中的旧数据导出并以JSON格式存到本地。考虑到数据量已经达到了十几个G，因此用sql直接查询显然是行不通的。

所以就想到了使用MongoDB，关于MongoDB的安装，Mongo Shell的命令以及基本增删改查操作可以参考CSDN上的其他文章。这里就不多说了。

进入正题，既然是JAVA操作，那么首先需要的就是MongoDB的java驱动包，我使用的是3.4版本的，需要的朋友可以到 http://download.csdn.net/detail/a18716374124/9887041自行下载。

首先使用sql读取MySQL数据库服务器上的数据，然后使用insert插入到MongoDB本地服务器中。然后从mongo

本地服务器读取数据，通过map reduce处理返回想要的json文本格式。

查询Mongodb官网资料，可以明白Map Reduce可以通过js脚本转换成想要的格式。代码如下：

String map = "function () {" 
+   " var key = this.custNo; "
+   " var value = {custNo: this.custNo,loanNo:this.loanNo,"

+   "              list:[{"
+   "                  certNo:this.list.certNo,"
+   "                  phoneNo:this.list.phoneNo,"
+   "                  phoneName:this.list.phoneName,"
+   "                  othMsg:this.list.othMsg"
+   "                  }]"
+   "              };"
+   "    emit(key, value);"
+ "}";

// reduce 函数
String reduce = "function(key, values) {"
+ " var result = {custNo:key,loanNo:null,list:[]};"
+ " values.forEach( function(value) {"
+ " result.list = result.list.concat(value.list);"
+ "     });"
+ " result.loanNo = values[0].loanNo;"
+ " return result;"
+ "}";

BasicDBObject query = new BasicDBObject();

MapReduceCommand cmd = new MapReduceCommand(calllists, map, reduce,
"out_user", MapReduceCommand.OutputType.REPLACE, query);// out_user是指定的输出数据的集合
MapReduceOutput out = calllists.mapReduce(cmd);

Object [] str_array = null;  //通过数组读取jsonstr
String jsonStr = null;     //保存最终得到的json格式

for (DBObject o : out.results()) {
str_array = o.toMap().values().toArray();
jsonStr = str_array[1].toString();
}

最后得到的JSON格式如下：

{
 "custNo": "456654",
   "loanNo": "654321",
   "list": [
    {
      "certNo": "130406199302073017",
      "phoneNo": "18583738107",
      "phoneName": "duxin",
      "othMsg":"jjj"
    },
    {
      "certNo": "654321",
      "phoneNo": "13256565544",
      "phoneName": "haha",
      "othMsg":"hahaha"
    }
  ]
}