亿万数据量级mongoDB中高效查找同一字段的所有不同值集合

   公司线上数据用的是mongodb存储(其实线下一般也用mongodb)，最近负责一个项目，需要每天获得线上数据库中所有的卖家id和卖家店铺名称。其实简单的将整个数据库扫一遍，拿出需要的这两个字段，再过滤一遍就可以了，但总想试一试更高级点儿的方式，谁叫我懒呢，不想写太多代码，不想做太多维护，还想快速准确拿数据。

    mongodb集合中doc（一个doc表示一个商品信息）的数据格式如下图所示，我要做是获取所有的userId和nick字段，然后去掉重复的即可。

distinct指令

   distinct指令的详细解释及用法见官网。亿万级数据量的情况下，distinct指令看看就行了，不然等它执行的时间都够睡一觉了。

mongoexport工具

   通过mongodb自带的集合导出工具mongoexport来实现。使用mongoexport导出集合中需要的字段到文件中，然后对文件进行排序和去重（先排序，后去重，因为uniq只会比较相邻的两行并去重）。

momgoexport -c author_name -c collection_name --csv --fields field1 fileld2 -o exported_data.csv
cat exported_data.csv | sort | uniq > unique.txt

需要注意的是：导出的文件过大的话，同样会很耗时，甚至导致处理失败。这个时候就需要将导出的文件进行分割成多个小文件了。

split -d -b 10G exported_data.csv   # 将exported_data.csv分割成10G大小的多个小文件，每个小文件的结尾以数字结尾

切割好了文件后，再对每个小文件排序去重即可。

MapReduce

   mongodb中可以使用MapReduce很方便的进行分组统计，整个查询统计过程不牵扯到过多的手工操作，代码量也少。

import pymongo
from bson.code import Code

client = pymongo.MongoClient('199.155.122.32:27018')
db = client['products']
collection = db['products_20161107']

# map函数的作用是遍历集合，调用emit函数将集合中userId、nick字段以键值对的形式传递给reduce函数
mapper = Code("""
function(){
    emit(this.userId, this.nick);
}
""")

# reduce函数的作用对map函数传递过来的键值对进行处理, 每个键值对中，key是userId字段的值，values是具有相同userId的nick的数组。由于我的程序中一个values的各个元素的值是相同的，所以没有对values进行遍历。
reducer = Code("""
function(key, values){
    var result = {nick: values[0]};
    return result;
}
""")

# 启动MapReduce, 将结果输出到seller_info这个集合中
result = collection.map_reduce(mapper, reducer, 'seller_info')

# 遍历seller_info集合，查看MapReduce结果
for doc in db['seller_info'].find():
    print doc

我的程序的执行结果如下图所示：

从结果中我们可以看到，ruduce函数中key的值作为了_id字段的值，返回结果result作为了values字段的值。