清酒半壶

MongoDB聚合（重点）

一、取得集合的数据量

范例：统计students表中的数据量

db.students.count();

范例：模糊查询

db.students.count({"name":/xie/i});

在进行数据查询的时候，不设置条件永远要比设置条件的查询快很多，也就是说在之前的代码编写里面不管是查询全部还是模糊查询，实际上最终都是使用的模糊查询一种（只是没有设置关键字）。

二、消除重复数据(此功能意义不大）

范例：查询所有name的信息

本次的操作没有直接的函数支持，只能够利用runCommand()函数。

db.runCommand({"distinct":"students1","key":"name"});

此时实现了对于name数据的重复值的筛选。

三、group操作

使用“group”操作可以实现数据的分组操作，在MongoDB里会将集合一句指定的key的不同进行分组操作，并且每一个组都会产生一个处理的文档结果。

范例：查询所有年龄大于等于19岁的学生信息，并且按照年龄分组

db.runCommand({"group":{"ns":"students","key":{"age":true},"initial":{"count":0},"condition":{"age":{"$gte":19}},"$reduce":function(doc,prev){

prev.count++;//表示数量加一

}

}});

以上的操作代码就属于一种MapReduce

四、MapReduce

MapReduce是整个大数据的精髓所在（实际中别用），所谓的MapReduce就是分位两步处理数据：

Map：将数据分别取出；

Reduce：负责数据的最后的处理；

可是要想在MongoDB里实现MapReduce处理，那么复杂度是相当高的。

范例：建立一组雇员数据

db.emps.insert({"name":"张三","age":30,"sex":"男","job":"CLERK","salary":1000});

db.emps.insert({"name":"李四","age":28,"sex":"女","job":"CLERK","salary":5000});

db.emps.insert({"name":"王五","age":26,"sex":"男","job":"MANAGER","salary":6000});

db.emps.insert({"name":"赵六","age":32,"sex":"女","job":"MANAGER","salary":7000});

db.emps.insert({"name":"孙七","age":31,"sex":"男","job":"CLERK","salary":2000});

db.emps.insert({"name":"王八","age":35,"sex":"女","job":"PRESIDENT","salary":9000});

使用MapReduce操作最终会将处理结果保存在一个单独的集合里面，而最终处理效果如下

范例：按照职位分组，取得每个职位的人名

第一步：编写分组的定义

var jobMapFun=function(){

emit(this.job,this.name);//按照job分组，取出name

};

//结果是：{key:"CLERK",values:[姓名,姓名,...]}

//第二步：编写reduce操作

var jobReduceFun=function(key,values){

return {"job":key,"names":values};

};

//第三步：针对于MapReduce处理完成的数据实际上也可以执行一个最后处理。

var jobFinalizeFun=function(key,values){

if(key=="PRESIDENT"){

return{"job":key,"names":values,"info":"公司的老大"};

}

return{"job":key,"names":values};

}

//第四步：进行操作的整合

db.runCommand({

"mapreduce":"emps",

"map":jobMapFun,

"reduce":jobReduceFun,

"out":"t_job_emp",

"finalize":jobFinalizeFun

});

现在执行上面三步之后，所有的处理结果都保存在了t_job_emp集合中了。

db.t_job.emp.find().pretty();

范例：统计出各性别的人数、平均工资、最低工资、雇员姓名

var sexMapFun=function(){

//定义好了分组的条件，以及每个集合要取出的内容

emit(this.sex,{"ccount":1,"csal":this.salary,"cmax":this.salary,"cmin":this.salary,"cname":this.name});

};

var sexReduceFun=function(key,values){

var total=0;//统计

var sum=0;//计算总工资

var max=values[0].cmax;//假设第一个数据是最高工资

var min=values[0].cmin;//假设第一个数据是最低工资

var names=new Array();//定义数组内容

for(var x in values){//表示循环取出里面的数据

total+=values[x].ccount;//人数增加

sum+=values[x].csal;//循环取出所有的工资，并且累加

if(max

max=values[x].cmax;

}

if(min

min=values[x].cmin;

}

names[x]=values[x].cname;//保存姓名

}

var avg=(sum/total).toFixed(2);//设置2位小数

//返回数据的处理结果

return {"count":total,"avg":avg,"sum" :sum,"max":max,"min":min,"names":names};

};

db.runCommand({

"mapreduce":"emps",

"map":sexMapFun,

"reduce":sexReduceFun,

"out": "t_sex_emp"});

结果如下：

虽然提供有最强悍的MapReduce支持，但是从现实的开发来将，真的不可能使用起来。

五、聚合框架（核心）

Mapreduce功能强大，但是它的复杂度和功能一样强大，那么很多时候我们需要MapReduce的功能，可是又不想把代码写的太复杂，所以从Mongo2.下版本之后开始引入了聚合框架并且提供了聚合函数：aggregate()

1,&group

group主要进行分组操作

范例：实现聚合查询的功能--求出每个职位的雇员人数

db .emps.aggregate([{"$group":{"_id":"$job","job_count":{"$sum":1}}}]);

这样的操作更加符合传统的group by子句的操作使用。

范例：求出每个职位的总工资

db .emps.aggregate([{"$group":{"_id":"$job","job_sal":{"$sum":"$salary"}}}]);

在整个聚合框架里面如果要引用每行的数据使用"$字段名称"。

范例：计算出每个职位的平均工资

db .emps.aggregate([{"$group":{

"_id":"$job",

"job_sal":{"$sum":"$salary"},

"job_avg":{"$avg":"$salary"}

}}]);

范例：求出最高与最低工资

db .emps.aggregate([{"$group":{"_id":"$job","max_sal":{"$max":"$salary"},"min_sal":{"$min":"$salary"}}}]);