php使用mongodb增删改查,mongodb增删改查操作效率一览

文章是2014年的,据作者原文说,当时是 单mongod测试(即只有一个mongod程序实例),测试机均为4g内存双核cpu(64位系统),测试所用文档为简单的三个字段的文档:。以下数据只是证明一个问题,update会很慢

测试所用文档为:

DBObject doc = newBasicDBObject();

doc.put("test","test"+insertNum);

doc.put("no", insertNum);

doc.put("time",swapWords(sld.format(new Date())));

一、入库效率:

1、普通集合入库,

每10万条数据平均2~3秒

入库一亿条数据大概45分钟

2、四个索引的普通集合

初始每10万条5~6秒,时间逐渐增长,到千万级别时每10万条入库时间60~80秒

入库一千万数据一小时多一点

3、一个索引的普通集合

初始入库每10万条3秒左右,耗时逐渐增长,到四千万左右时每10万条入库时间15~20秒

入库一千万数据7、8分钟

入库四千万数据大概一个半小时

4、固定集合

初始入库每10万条数据平均2~2.5秒

5、一个索引的固定集合

初始入库每10万条数据平均3~4秒

二、查询效率:

没有索引会进行表扫描(大表会极慢)

无论有没有索引,大批量插入时查询效率极慢

三、插入时机器负载:

没索引时:cpu不到20%

有索引时,初始插入cpu 20,30~40,后期比较慢不到5~15% 猜测原因内存已经用满,磁盘io比较多

mongos测试(三台机器的简单无备份mongod分片群)

一、简单入库

test集合,分片,无索引,文档结构大小同上例

每10万条记录 3~3.5秒

从sqlserver测试表导数据至mongos(三台)测试

一、第一种入库策略:

先入库,再建索引及分片,按索引分片

1、测试表Test共20列1.5亿数据

2、导到mongos时表不设索引,不分片,等到入库完毕后再进行这些操作

3、导出时所有列都用的string

4、1亿5千万入库6个半小时  10万/10~20秒(从远程的sqlserver数据库导入,一边遍历结果集一边插入,所以实际入库速度应该比这个快)

5、建userid,city的二级索引大概用了半个小时(从日志中查看)

6、按索引中(userid,city)的一个键分片(而不是用objectid);

操作是阻塞式的,吃完饭回来就完成了。。应该是在一个半小时内

7、在有分片及索引的情况下,追加插入效率较差,每1000条 20~30秒

8、所以考虑:撤销索引,查看集合行数(看是否有影响),追加插入数据,建立索引,测试查询。但是刚刚撤销索集群就无法访问了(因为分片是按索引userid分的).

二、查询:

建立索引后:

几次测试,同一个程序10000条数据连续查询,平均11~13毫秒

并发测试,3个程序同时分别连续查询10000条数据,平均14毫秒

三、删除集合不会释放硬盘空间

1、删除后的表不会释放硬盘空间而是内部标记为空闲,需要注意

2、可以用db.repairDatabase()整理磁盘文件:

mongos会分mongod分别处理,每个mongod处理自己的

程序首先会将所有有效数据写入临时文件(在他的文件系统中发现诸如_tmp等文件中数据文件增加很多,而且其中文件格式和源数据文件格式相似),所以硬盘占用率会很明显的上升,完成整理后硬盘占用减少。

3、所以如果使用此方法:

应该保证磁盘剩余空间容量>mongodb数据文件中有效数据量,

保险方法是磁盘剩余空间>mongodb数据文件

4、时间

比较慢,不到180g有效数据分在三台机器,用了1~3个小时

4、在此过程中查询:

在此过程中读写几乎不能用

四、第二种入库策略:

按objectid分片,索引及入库策略不变

1、  初始入库时间大致和之前相同(1.5亿条数据)

2、  追加存入重复数据

20万条10分钟(先遍历sqlserver结果集存入内存中再一次性入库mongodb)

3、  追加新数据入库

20万条2分半钟(先遍历sqlserver结果集存入内存中再一次性入库mongodb)

4、  根据非objectid键更新插入(upsert)

很慢,1000条需要6~8分钟(实际上操作失败,因为upsert操作需要指定分片键objectid)

5、  查询

速度比之前方案稍慢,35~40毫秒平均(连续查询20000次)

其他

1、  windows,linux混合集群测试

可行,效率没大规模用过,不知道是否稳定。Linux方面程序不会主动释放内存,windows程序据观察在入库时内存占用量增大,但是入库完后会释放。

2、  32位windows系统程序确实只能存2g数据,大于2g数据后程序报错退出。

你可能感兴趣的:(php使用mongodb增删改查,mongodb增删改查操作效率一览)