MongoDB技术分享
- MongoDB简介
1.1 基本介绍
MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库(nosql)之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。
https://db-engines.com/en/ranking
1.2 MongoDB与MySQL术语对比
| MongoDB | MySQL |
|---|---|
| database | database |
| collection | table |
| column | field |
1.3 MongoDB数据类型
MongoDB数据类型
1.4 适用场景
| 应用特征 | Yes / No |
|---|---|
| 应用不需要事务及复杂 join 支持 | 必须 Yes |
| 新应用，需求会变，数据模型无法确定，想快速迭代开发 | ？ |
| 应用需要2000-3000以上的读写QPS（更高也可以） | ？ |
| 应用需要TB甚至 PB 级别数据存储 | ? |
| 应用发展迅速，需要能快速水平扩展 | ? |
| 应用要求存储的数据不丢失 | ? |
| 应用需要99.999%高可用 | ? |
| 应用需要大量的地理位置查询、文本查询 | ？ |
如果上述有1个 Yes，可以考虑 MongoDB，2个及以上的 Yes，选择MongoDB绝不会后悔。
1.5 mongodb数据demo
MongoDB的每一条数据类似于JSON的BSON格式
{
"_id" : ObjectId("59e3f69aec98545db2fbc3b7"),
"broker_name" : "张盼盼",
"volume_30days" : "30天成交1套",
"property_fee" : "0.73至2.16元/平米/月",
"house_count" : "1176户",
"community_type" : "塔楼",
"price" : "64495",
"community_id" : "1111027375451",
"image_urls" : [
"https://image1.ljcdn.com/hdic-resblock/ad796c0a-07b6-4c2f-90ec-0f9dc507386a.jpg.710x400.jpg",
"https://image1.ljcdn.com/hdic-resblock/0b993852-1794-46dc-a39b-67662f0e0e08.jpg.710x400.jpg",
"https://image1.ljcdn.com/hdic-resblock/8d2ac32c-9a06-4da8-aa1c-d5a9f519abb8.jpg.710x400.jpg",
"https://image1.ljcdn.com/hdic-resblock/230be09f-f12a-4930-aa5e-eaf4890d6709.jpg.710x400.jpg",
"https://image1.ljcdn.com/hdic-resblock/4fd63cc5-46da-4c40-b5a3-d212aec2e2b8.jpg.710x400.jpg",
"https://image1.ljcdn.com/hdic-resblock/ebc9a3cf-bd3b-40ee-ac69-b38d4b505fb9.jpg.710x400.jpg",
"https://image1.ljcdn.com/hdic-resblock/99b19300-07a9-49de-8379-0c6e8ea6b8a1.jpg.710x400.jpg",
"https://image1.ljcdn.com/hdic-resblock/043132e8-0aa8-4cb3-8739-e0b39a6d70de.jpg.710x400.jpg"
],
"zones" : "太平桥",
"community_name" : "华源二里",
"building_count" : "5栋",
"broker_id" : "1000000020201316",
"crawl_time" : ISODate("2017-10-16T08:00:26.759Z"),
"address" : "(丰台太平桥)华源二里",
"saling_count" : "4",
"property_name" : "北京首科万业物业管理有限公司",
"developer" : "北京华世房地产开发公司",
"city" : "北京",
"rent_count" : "0套正在出租",
"district" : "丰台",
"complete_time" : "2002年建成 ",
"url" : "https://bj.lianjia.com/xiaoqu/1111027375451/",
"longitude" : "116.32284",
"latitude" : "39.882471"
}
1.6 谈谈mongodb中的_id
_id 是mongodb自动生成12个字节24位长度的字符串，类似于MySQL的主键概念，用于唯一标识数据。
ObjectID.png
举个栗子
ObjectID('59e3f69aec98545db2fbc3b7')
"crawl_time" : ISODate("2017-10-16T08:00:26.759Z")
59e3f69a 转为10进制时间戳 1508112026 ->北京时间 2017/10/16 8:0:26
ec9854 -> 机器主机名的散列值
5db2 -> 转为10进制的进程号 23986
fbc3b7 -> 自增流水 16499639
如果在1台机器上同一个进程同1秒同时写入256^3以内的数据，是绝对不会重复的！
1.7 事务
在MongoDB4.0之前是不支持事务的，MongoDB 4.0 支持副本集多文档事务，并计划在 4.2 版本支持分片集群事务功能。
with client.start_session() as s:
s.start_transaction()
collection_one.insert_one(doc_one, session=s)
collection_two.insert_one(doc_two, session=s)
s.commit_transaction()
- MongoDB常用操作
2.1 数据库操作
# 创建数据库
use test
# 查看已存在的数据库
show dbs
# 删除数据库（删完跑路）
db.dropDatabase()
2.2 表操作
# 创建表
db.createCollection('test')
# 查看表
show collections / show tables
# 删除表
db.getCollection('test').drop()
2.3 插入数据
# 插入单条数据
db.test.insert({
'name': '张三',
'age': 18,
'birthday': new Date('2000-01-01T00:00:00Z'),
'hobby': ['lol', 'dota'],
'friends': {
'boy': ['Tom', 'Harry'],
'girl': ['tracy']
}
})
# 插入多条数据
db.test.insertMany(
[{
'name': '赵四',
'age':10,
'sex': 'male',
'hobby': ['王者农药'],
},
{
'name': '乔杉',
'age': 18,
'hobby': ['大保健'],
}
]
)
2.4 删除数据
db.test.remove({'name':'张三'})
2.5 更新数据
由于MongoDB是没有表结构的，所以更新数据和关系型数据库有一些区别。update共有4个参数
- 筛选条件
- 修改后的内容
- 如果不存在update的记录，是否插入objNew,true为插入，默认是false，不插入。
- 是否允许更新多条数据
# 更新1条数据,给赵四做个变性手术
db.test.update({'name':'赵四'},{'$set':{'sex':'famale'}},false,false)
# 更新多条数据
db.test.update({'age':18},{'$set':{'age':19}},false,true)
# 添加字段
db.test.update({'age':19},{'$set':{'home':'东北'}},true,true)
# 删除字段
db.test.update({},{'$unset':{'home':1}},true,true)
# 列表中添加元素
# 去重
db.test.update({},{'$addToSet':{'hobby':'python'}},false,true)
# 不去重
db.test.update({},{'$push':{'hobby':'python'}},false,true)
# 列表中移除元素
# $pop操作符移除数组中的第一个或者最后一个元素(1为最后一个元素，-1为第一个元素)
db.test.update({'name':'张三'},{'$pop':{'hobby':1}})
# $pull操作符从现有数组中移除与指定条件匹配的值或值的所有实例
db.test.update({'name':'张三'},{'$pull':{'hobby':'python'}})
2.6 查询数据
# 普通查询
db.getCollection('test').find()
# 查询指定字段
db.getCollection('test').find({},{'name':1,'age':1})
# 查询数量
db.getCollection('test').find({'age':19}).count()
# 查询friends字段为object的数据
db.test.find({'friends':{'$type':3}})
# 去重
db.getCollection('test').distinct('name',{'age':19})
# 排序 1升序 -1降序
db.getCollection('test').find({},{'name':1,'age':1}).sort({'age':-1})
# 分页 注：mongodb数据量较大时，skip慎用，效率很差
db.getCollection('test').find({},{'name':1,'age':1}).skip(1).limit(2)
# 条件查询 $gte>= $lte <= $gt > $lt < $exists:字段是否存在
db.getCollection('test').find({'$or':[{'age':{'$gt':19}},{'birthday':{'$exists':1}}]})
2.7 pipeline管道
英文文档中是aggregation pipeline，直译为聚合管道，它可以对数据文档进行变换和组合。聚合管道是基于数据流概念，数据进入管道经过一个或多个stage，每个stage对数据进行操作（筛选，投射，分组，排序，限制或跳过）后输出最终结果。
pipeline.png
按城市聚合房源量
db.getCollection('danke_house_2018-09-28').aggregate([
{
"$project": {"_id": 0,"city":1,"house_id": 1,"price":1,"district":1}
},
{
"$match":{"city":{"$exists":1},"district":{"$exists":1}}
},
{
"$group": {
"_id": "$city",
// "_id": {city:"$city",district:"$district"},
"num": {"$sum": 1}
}
},
{
"$sort": {"num": -1}
},
{
"$limit":5
}
])
/* 1 */
{
"_id" : "北京",
"num" : 9533.0
}
/* 2 */
{
"_id" : "深圳",
"num" : 4679.0
}
/* 3 */
{
"_id" : "上海",
"num" : 3314.0
}
/* 4 */
{
"_id" : "杭州",
"num" : 2774.0
}
/* 5 */
{
"_id" : "武汉",
"num" : 2195.0
}
- MongoDB索引
3.1 创建索引
# 创建索引单字段索引
db.getCollection('danke_house_2018-09-28').ensureIndex({'city':1},{'background':true})
# 创建唯一索引
db.test.ensureIndex({'name':1},{'unique':true})
# 创建复合索引
db.getCollection('danke_house_2018-09-28').ensureIndex({'city':1,'district':-1})
# 创建地理位置索引
# 经纬度字段需要使用[lon,lat] 或者{'lon':lon,'lat':lat}的方式存储数据
db.getCollection('danke_house_2018-09-28').createIndex({'loc':"2d"})
# 查看索引
db.test.getIndexes()
# 查询距离华控大厦最近的10条房源
db.getCollection('danke_house_2018-09-28').find({'loc':{'$near':[116.307753,40.06118]}}).limit(10)
mongodb空间索引
3.2 索引的原理
创建索引的时候需要指定顺序，1代表升序，-1代表降序。
对于单索引来说{’a‘:1},那么sort {’a‘:1}或者{'a':-1}都会生效
对于复合索引来说{'a':1,'b':1},那么sort{'a':1,'b':1}或者{’a‘:-1,'b':-1}都会生效，但是{'a':1,'b':-1} 和{'a':-1,'b':1}不会生效
3.3 执行计划
和MySQL类似，通过explain可以查看Mongodb的执行计划
db.getCollection('danke_house_2018-09-28').find({'city':'北京'}).explain()
- 程序连接MongoDB
- python 代码
# coding=utf-8
import pymongo
# 创建连接
conn = pymongo.MongoClient(host='127.0.0.1', port=27017)
# 选择库表
collection = conn['test']['test']
result = list(collection.find())
print result
- 数据迁移
5.1 mongoexport
mongoexport命令可以将mongodb的数据导出为JSON或者CSV
# 导出数据为CSV
mongoexport --host=127.0.0.1:27017 -d test -c danke_house_2018-09-28 --type=csv -o danke.csv -f city,district,zone
# 导出数据为JSON
mongoexport --host=127.0.0.1:27017 -d test -c danke_house_2018-09-28 --type=json -o danke.json -q "{'city':'北京'}"
5.2 mongodump
mongodump命令会将数据导出为mongodb的BSON格式，如果有索引，索引文件也会被导出。
# 数据备份
mongodump --host=127.0.0.1:27017 -d test -c danke_house_2018-09-28 -o danke
5.3 mongoimport
# 导入CSV
mongoimport --host=127.0.0.1:27017 -d test2 -c danke_csv --type csv --file danke.csv --headerline
# 导入JSON
mongoimport --host=127.0.0.1:27017 -d test2 -c danke_json --type json --file danke.json
5.4 mongorestore
cd danke2;
mongorestore --host=127.0.0.1:27017 -d test2 --dir test
- 自己踩的坑
- 当数据量较大的时候，读取数据不能一次性都加载到内存中，需要分页读取。使用skip和limit进行分页吗？too young to simple! 随着数据量增大，skip的效率会指数下降，怎么办？
- 一个很巧妙的方法，利用_id的索引进行排序，虽然mongodb没有自增ID的概念，但是_id可以充当自增ID的功能。例如遍历1000万数据，每次读取1万条数据，然后我们记录下1万条数据的最后1条数据的_id，然后取大于该_id的数据limit(10000)即可
上代码
def data_gen(self, page_size=10000):
'''
数据生成器
:return:
'''
data_count = self.collection.count()
page_count = int(math.ceil(data_count / float(page_size)))
last_id = None
for i in range(page_count):
if i == 0:
page_data = list(self.collection.find().sort([('_id', 1)]).limit(page_size))
else:
page_data = list(self.collection.find({'_id': {'$gt': last_id}}).sort([
('_id', 1)]).limit(page_size))
if page_data:
last_id = page_data[-1].get('_id')
yield page_data