利用Python读取MongoDB的数据
近日在处理数据的时候遇到一个问题，数据存储在MongoDB数据库（如图1），而MongoDB模式自由、具有很大的灵活性，可以把不同结构的文档存储在同一个数据库里，即表的字段不是完全固定的，当某个字段有值时就会显示该字段，而当该字段没有值时就不显示该字段。因此，同一个数据库表根据不同的条件查询得到的字段数可能会不一样，如图2可以看到按不同的SourceCode查询时，字段个数不同。现在想得到每个SourceCode下的数据包含哪些字段，而SourceCode取值有70多个，如果手动统计有点耗时，于是想到利用Python读取MongoDB数据来解决这一问题。
Step1：安装pymongo
pymongo是Python中用来操作MongoDB的一个库。
pip install pymongo
Step2：连接MongoDB
连接MongoDB时，需要使用PyMongo库里面的MongoClient，可以直接传入MongoDB的连接字符串“mongodb://用户名:密码@IP:端口号/”，即以mongodb开头，依次传入用户名、密码、IP和端口号。如果端口号不给传递参数，默认为27017。
from pymongo import MongoClient
import pandas as pd
#方式一
client = MongoClient('mongodb://username:[email protected]:27017/')
Step3：指定数据库
MongoDB中可以建立多个数据库，因此需要指定要操作哪个数据库。
##指定要操作的数据库，test
db = client.test
Step4：指定数据库表
每个数据库中有多个表，因此需要指定要操作哪个表。
##限定数据库表，InternationalData.ILO_Value_20201207
mycol = db["InternationalData.ILO_Value_20201207"]
Step5：获取SourceCode的取值
前面提到，想查看每个SourceCode下的字段，因此需要先获取SourceCode的取值，直接运用distinct实现SourceCode的去重查询。
#获取SourceCode，直接从MongoDB查询获得
Scode = mycol.distinct( "SourceCode")
#print (Scode)
Step6：遍历SourceCode，依次获取各字段
遍历SourceCode，利用find()实现按SourceCode查询。find()返回的是Cursor类型，它相当于一个生成器，需要遍历取到所有的结果，其中每个结果都是字典类型。
totalkey=[] #totalkey记录所有SourceCode的涉及到的字段列表
key=[]
record=[]
t=1 ## 记录第几个SourceCode
##遍历SourceCode
for code in Scode:
#code=code
print (t,code)
t+=1
##设置查询的条件
myquery={ "SourceCode" : code }
mydoc=mycol.find(myquery)
i=0 ## i记录每个SourceCode对应的记录数
keyvalue=[] #keyvalue记录每个SourceCode的字段列表
##遍历每个SourceCode下的记录
for x in mydoc:
#print (x)
i+=1
for j in x.keys(): ##遍历每条记录的字段
if j not in keyvalue:
keyvalue.append(j)
if j not in totalkey:
totalkey.append(j)
#print (keyvalue)
#print (i)
#data["SourceCode"].append(code)
key.append(keyvalue)
record.append(i)
Step7：保存结果
data=pd.DataFrame()
print (data)
data["SourceCode"]=Scode
data["Keyvalue"]=key
data['record']=record
print(totalkey)
#print(data.head())
data.to_csv('data/result.csv',encoding='gb18030',index=1)
最后附上完整代码。
###获取分别按SourceCode查询后的字段集合
from pymongo import MongoClient
import pandas as pd
##连接MongoDB
client = MongoClient('mongodb://username:[email protected]:27017/')
##指定要操作的数据库，test
db = client.test
##获取数据库中的所有表
collection_list = db.list_collection_names()
print(collection_list)
##限定数据库表，InternationalData.ILO_Value_20201207
mycol = db["InternationalData.ILO_Value_20201207"]
#获取SourceCode
##方式一：SourceCode从excel中读取
'''
scode_data=pd.read_csv('data/SourceCode.csv',encoding='gb18030')
print(scode_data.head())
Scode=scode_data['SourceCode'].values
'''
##方式二：SourceCode直接从MongoDB查询获得
Scode = mycol.distinct( "SourceCode")
#print (Scode)
#方式三：直接写列表
#Scode=["ABW_A"]
totalkey=[] ##totalkey记录所有SourceCode的涉及到的字段列表
key=[]
record=[]
t=1 ## 记录第几个SourceCode
##遍历SourceCode
for code in Scode:
#code=code
print (t,code)
t+=1
##设置查询的条件
myquery={ "SourceCode" : code }
mydoc=mycol.find(myquery)
i=0 ## i记录每个SourceCode对应的记录数
keyvalue=[] #keyvalue记每个SourceCode的字段列表
##遍历每个SourceCode下的记录
for x in mydoc:
#print (x)
i+=1
for j in x.keys(): ##遍历每条记录的字段
if j not in keyvalue:
keyvalue.append(j)
if j not in totalkey:
totalkey.append(j)
#print (keyvalue)
#print (i)
#data["SourceCode"].append(code)
key.append(keyvalue)
record.append(i)
data=pd.DataFrame()
print (data)
data["SourceCode"]=Scode
data["Keyvalue"]=key
data['record']=record
print(totalkey)
#print(data.head())
data.to_csv('data/result.csv',encoding='gb18030',index=1)
ps：初衷是通过撰写博文记录自己所学所用，实现知识的梳理与积累；将其分享，希望能够帮到面临同样困惑的小伙伴儿。如发现博文中存在问题，欢迎随时交流~~