使用pymongo操作MongoDB数据库

此博客是在学习崔庆才《Python3 网络爬虫开发实战》中的笔记总结。在开始学习之前，请确保安装好了MongoDB数据库并且保证数据库能够正常运行，并且需要安装好pymongo库

目录

1 连接MongoDB

2 指定数据库

3 指定集合 

4 插入数据 

5 查询

6 计数

7 排序

8 偏移

9 更新

10 删除

1 连接MongoDB

使用pymongo库里面的MongoClient连接MongoDB。需要传入MongoDB的IP及端口

其中第一个参数为地址host，第二个参数为端口port（如果不传递参数，默认为27017）

import pymongo
client=pymongo.MongoClient(host='localhost',port=27017)

另外也可使用此方法连接MongoDB，MongoClient的第一个参数host还可以直接传入MongoDB的连接字符串，以mongodb开头

client=MongoClient('mongodb://localhost:27017/')

两种方法可以达到同样的连接效果

2 指定数据库

在实际操作中我们需要指定操作那个数据库，这里我们用test数据库为例说明，在程序中指定要使用的数据库，：

db=client.test

这里调用client的test属性即可返回test数据库。当然，也可以这样指定

db=client['test']

这样我们就指定了一个数据库，这两种方法是等价的。如果数据库不存在，则创建数据库，否则切换到指定数据库。

3 指定集合 

MongoDB的每个数据库包含许多集合（collection），集合类似关系型数据库中的表。

指定要操作的集合，这里指定一个集合名称为students。与指定数据库类似，有两种指定方式。

collection=db.students
collection=db['students']

这样我们便声明了一个Collection对象，这两种方法是等价的。如果集合不存在，则创建集合，否则切换到指定集合。

4 插入数据 

接下来对集合students进行插入数据操作，新建一条以字典形式表示的学生数据

student={
    'id':'1',
    'name':'林先生',
    'age':20,
    'gender':'male'
}

指定了学生的学号、姓名、年龄和性别。接下来调用collection的insert()方法插入数据，代码如下：

results=collection.insert(student)
print(results)

在MongoDB中，每条数据都有一个_id属性来表示唯一标识。如果没有显式指明该属性，MongoDB会自动产生一个ObjectId类型的_id属性。insert()方法会在执行后返回_id值

运行结果如下

我们也可以插入多条数据，只需要以列表形式传递即可，实例如下

student1={
    'id':'2',
    'name':'张先生',
    'age':21,
    'gender':'male'
}
student2={
    'id':'3',
    'name':'李先生',
    'age':22,
    'gender':'male'
}

result=collection.insert([student1,student2])
print(result)

返回结果是对应的_id的集合 

在Python 3.X版本中，官方不再推荐使用insert()方法了。当然，继续使用也没有什么问题。官方推荐使用insert_one()方法和insert_many()方法，实例如下

• insert_one() 插入单条记录
• insert_many() 插入多条记录 

student={
    'id':'4',
    'name':'陈小姐',
    'age':23,
    'gender':'female'
}

result=collection.insert_one(student)
print(result)
print(result.inserted_id)

运行结果如图

 insert_one() 返回的是InsertOneResult对象，调用其inserted_id属性查看_id值。

对于insert_many()方法，将数据以列表形式传递，实例如下

student1={
    'id':'5',
    'name':'郑先生',
    'age':24,
    'gender':'male'
}
student2={
    'id':'6',
    'name':'王小姐',
    'age':25,
    'gender':'female'
}

result=collection.insert_many([student1,student2])
print(result)
print(result.inserted_ids)

运行结果如图

该方法返回的类型是InsertManyRusult，调用insert_ids属性可以获取插入数据的_id列表

5 查询

可以利用find_one()或find()方法进行查询

• find_one()查询得到的是单个结果
• find()则返回一个生成器对象

示例如下

result=collection.find_one({'name':'林先生'})
print(type(result))
print(result)

运行结果如图

可以发现多了_id属性，这就是MongoDB在插入过程中自动添加的。另外，我们也可以用ObjectId来查询，需要使用bson库里面的objectid:

from bson.objectid import ObjectId
result=collection.find_one({'_id':ObjectId('5c13b13cbe3be7218c995042')})
print(result)

 查询结果依然是字典类型

如果查询结果不存在，则会返回None.

对于多条数据的查询，可以使用find()方法，例如查找性别为male的数据

results=collection.find({'gender':'male'})
print(results)
for result in results:
    print(result)

 运行结果如图

返回结果是Cursor类型,相当于一个生成器，遍历出所有的结果，其中每个结果都是字典类型

如果要查询年龄大于20的数据，则写法如下

results=collection.find({'age':{'$gt':20}})

条件键值是一个字典，键名为比较符号$gt，意思是大于，键值为20 

                                                                     比较符号归纳

符号	含义	示例
$lt	小于	{ ' age ' : { ' $lt ' : 20 } }
$gt	大于	{ ' age ' : { ' $gt ' : 20 } }
$lte	小于等于	{ ' age ' : { ' $lte ' : 20 } }
$gte	大于等于	{ ' age ' : { ' $gte ' : 20 } }
$ne	不等于	{ ' age ' : { ' $ne ' : 20 } }
$in	在范围内	{ ' age ' : { ' $in ' : [20,23] } }
$nin	不在范围内	{ ' age ' : { ' $nin ' : [20,23] } }

另外还可以进行正则匹配查询，例如查以‘林’开头的学生数据

result=collection.find({'name':{'$regex':'^林.*'}})

这里使用$regex来指定正则匹配，^林.*代表以‘林’开头的正则表达式

                                                                  功能符号归纳

符号	含义	示例	示例含义
$regex	匹配正则表达式	{ ' name ' : { ' $regex ': ^M.* " } }	name以M开头
$exists	属性是否存在	{ ' name ' : { ' $exists': True } }	name属性是否存在
$type	类型判断	{ ' age ' : { ' $type ' : ' int ' } }	age的类型为int
$mod	数字模操作	{ ' age ' : { ' $mod ' : [5, 0] } }	年龄模5余0
$text	文本查询	{ ' $text ' : { ' $search ' : ' Mike ' } }	text类型的属性中包含Mike字符串
$where	高级条件查询	{' $where ' : ' obj.fans_count == obj.follows_count ' }	自身粉丝数等于关注数

关于这些操作的更详细用法，可以在MongoDB官方文档找到

6 计数

count() 方法可以统计查询结果有多少数据

# 统计所有数据条数
count=collection.find().count()

# 统计符合某个条件的数据条数
count=collection.find({'age':20}).count()

7 排序

排序方法：sort(),在其中传入排序的字段及升降序标志即可

• pymongo.ASCENDING: 指定升序
• pymongo.DESCENDING: 指定降序

results=collection.find().sort('age',pymongo.ASCENDING)
print([result['age'] for result in results])

运行结果如图

 8 偏移

在某些情况下，我们只想取某几个元素，这时可以利用skip()方法，比如偏移2，忽略前两个元素得到第三个及之后的元素

 还可以用limit()方法指定要取的结果个数

 9 更新

可以使用update()方法进行数据更新，指定更新的条件和更新后的数据即可。

condition={'name':'林先生'}
student=collection.find_one(condition)
student['age']=25
result=collection.update(condition,student)
print(result)

运行结果如图

返回结果是字典形式，ok代表执行成功，nModified代表影响的数据条数

另外，可以使用$set操作符对数据进行更新

result=collection.update(condition,{'$set':student})

uodate()方法也是官方不推荐用法，这里也有update_one()和update_many()方法，用法更严格，它们的第二个参数需要使用$类型操作符作为字典的键名

condition={'name':'林先生'}
student=collection.find_one(condition)
student['age']=26
result=collection.update_one(condition,{'$set':student})
print(result)
print(result.matched_count,result.modified_count)

运行结果如图，matched_count和modified_count属性分别表示可以获得匹配的数据条数和影响的数据条数

 再看一个例子

condition={'age':{'$gt':20}}
result=collection.update_one(condition,{'$inc':{'age':1}})
print(result)
print(result.matched_count,result.modified_count)

这里指定查询条件为年龄大于20，更新条件为{'$inc':{'age':1}},也就是年龄增加1，执行之后会将第一条符合条件的数据年龄加1

运行结果如图，可以看到匹配条数为1条，影响条数也为1条

 

如果调用update_many()方法，则会将所有符合条件的数据都更新，示例如下

condition={'age':{'$gt':20}}
result=collection.update_many(condition,{'$inc':{'age':1}})
print(result)
print(result.matched_count,result.modified_count)

运行结果如图，这时匹配条数就不再是1条了

 10 删除

删除比较简单，调用remove()方法之后指定删除的条件即可，符合条件的所有数据都会被删除。删除不可逆，操作需谨慎。

result=collection.remove({'name':'林先生'})
print(result)

 运行结果如图

这里依旧存在两个新的推荐方法—— delete_one()和delete_many()。示例如下

result=collection.delete_one({'name':'张先生'})
print(result.deleted_count)

result=collection.delete_many({'age':{'$lt':25}})
print(result.deleted_count)

运行结果如图

 

delete_one()即删除第一条符合条件的数据，delete_many()即删除所有符合条件的数据。它们的返回结果都是DeleteResult类型，可以调用deleted_count属性获取删除的数据条数。