MongoDB mapreduce 使用

MapReduce介绍

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。
它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 
当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

MongoDB 中的MapReduce 使用JavaScript来作为查询语言，因此能表达任意的逻辑，
但是它运行非常慢，不应该用在实时的数据分析中 。

MongoDB MapReduce语法

db.runCommand("mapreduce":“集合名称”,"map":Map函数名称,"reduce":Reduce函数名称,"out":"集合名称")

• 1:Map函数使用emit函数来返回要处理的值 。this 表示整个文档

• 2:reduce函数需要处理Map阶段或者是前一个reduce的数据,因此reduce返回的文档必须要能作为reduce的第二个参数的一个元素,
  
  
  问题一：计算每个键出现的次数

    db.userdatas.find()
{ "_id" : ObjectId("59789a56bc629e73c4f09e1c"), "name" : "wang wu", "age" : 45 }
{ "_id" : ObjectId("59789a74bc629e73c4f09e1e"), "name" : "wang wu", "age" : 8 }
{ "_id" : ObjectId("59789ac0bc629e73c4f09e20"), "name" : "wang wu", "age" : 33 }
{ "_id" : ObjectId("597f357a09c84cf58880e40e"), "name" : "u1", "age" : 37 }
{ "_id" : ObjectId("597f357a09c84cf58880e40f"), "name" : "u1", "age" : 37 }
{ "_id" : ObjectId("597f357a09c84cf58880e410"), "name" : "u5", "age" : 78 }
{ "_id" : ObjectId("597f357a09c84cf58880e412"), "name" : "u3", "age" : 32 }
{ "_id" : ObjectId("597f357a09c84cf58880e411"), "name" : "u4", "age" : 30, "score" : [ 7, 4, 2, 0 ] }
{ "_id" : ObjectId("597fcc0f411f2b2fd30d0b3f"), "age" : 20, "score" : [ 7, 4, 2, 0, 10, 9, 8, 7 ], "name" : "lihao" }
{ "_id" : ObjectId("597f357a09c84cf58880e413"), "name" : "u2", "age" : 33, "wendang" : { "yw" : 80, "xw" : 90 } }
{ "_id" : ObjectId("5983f5c88eec53fbcd56a7ca"), "date" : ISODate("2017-08-04T04:19:20.693Z") }

    var map = function(){
                for(var key in this){
                    emit(key,{count:1});
                } 
            }

    var reduce = function(key,emits){
                    var total = 0;
                    for(var i in emits){
                        total += emits[i].count;
                    }
                    return {"count":total};
                };

    db.runCommand({"mapreduce":"userdatas","map":map,"reduce":reduce,"out":"result"});  
    {
    "result" : "result",
    "timeMillis" : 42,
    "counts" : {
        "input" : 11,
        "emit" : 11,
        "reduce" : 2,
        "output" : 9
    },
    "ok" : 1
    }


db.result.find()
{ "_id" : "_id", "value" : { "count" : 11 } }
{ "_id" : "age", "value" : { "count" : 10 } }
{ "_id" : "date", "value" : { "count" : 1 } }
{ "_id" : "name", "value" : { "count" : 10 } }
{ "_id" : "score", "value" : { "count" : 2 } }
{ "_id" : "wendang", "value" : { "count" : 1 } }

MapReduce 执行流程图

MongoDB MapReduce 可选参数

• 1:finalize:function :可以将reduce的结果发送到finalize,这是整个处理的最后一步

• 2:keeptemp:boolean :是否在连接关闭的时候,保存临时结果集合

• 3:query:document :在发送给map前对文档进行过滤

• 4:sort:document :在发送给map前对文档进行排序

• 5:limit:integer :发往map函数的文档数量上限

• 6:scope:document :可以在javascript中使用的变量

• 7:verbose:boolean :是否记录详细的服务器日志

问题一 ： 计算出文档中含有age字段的总和

var map = function() {
    emit("age",this.age)
}

var reduce = function(key,emits) {
    var total = 0;
    for(var i in emits) {
        total += emits[i];
    }
    return total
}

var query = {"age":{"$exists":1}}

// var sort = {"age":1};
// var finalize = function(key,value){
//    return {"mykey":key,"myV":value}; 
// };


db.runCommand({"mapreduce":"userdatas","map":map,"reduce":reduce,"out":"result","query":query})
{
    "result" : "result",
    "timeMillis" : 17,
    "counts" : {
        "input" : 10,
        "emit" : 10,
        "reduce" : 1,
        "output" : 1
    },
    "ok" : 1
}


db.result.find()
{ "_id" : "age", "value" : 353 }