mongodb优化

1.尽量少用in的方式查询,尤其是在shard上,他会让你的查询去被一个shand上跑一次,

如果逼不得已要用的话再每个shard上建索引。

优化in的方式是把in分解成一个一个的单一查询。速度会提高40-50倍。

2.和大部分数据库优化一样,查询量大,并发大的时候通过前端加缓存解决。

3.在写入mongodb的时候,可以加入safe用安全模式写。

这么的话,在一个会话中就算有一个shand或者一个主切换了,程序会返回错误。从新写入。不然不报错会丢数据。

使用safe以后,在mongosniffer抓包会在每次写入和更新之后写一个{getlasterror:1}的返回。

4.mongodb在做banlace的时候,会锁住在迁移的数据,不能读。

因为mongos不知道要去那个shard上去找数据。64M的chunks迁移快的时候1秒,慢的时候3-5秒

5. sharding key通常就是会频繁使用的索引

6. increamenting sharding key(增量sharding-key)适合于可划分范围的字段,比如integer、float、date类型的,查询时比较快

7. random sharding key(随机sharding-key)适用于写操作频繁的场景,而这种情况下如果在一个shard上进行会使得这个shard负载比其他高,不够均衡,故而希望能hash查询key,将写分布在多个shard上进行

8. 枚举类型的字段最适合不过啦 :)

9. 考虑复合key作为sharding key

9. 总的原则是查询快,尽量减少跨shard查询,balance均衡次数少。

10.mongodb默认是单条记录4M,尤其在使用GFS的时候,一定要注意shrading-key的设计。

不合理的sharding-key会出现,多个文档,在一个chunks上,同时,因为GFS中存贮的往往是大文件,导致mongodb在做balance的时候无法通过sharding-key来把这多个文档分开到不同的shard上,

这时候mongodb会不断报错Tue Jan 10 15:24:59 [conn27669]   Uncaught std::exception: St9bad_alloc, terminating。最后导致mongodb倒掉。

解决办法:加大chunks大小(治标),设计合理的sharding-key(治本)。

12.在一个shard中要注意PRIMARY,SECONDARY,ARBITER的设计。

例如,我们公司环境中的1P,2S,2A的环境,PRIMARY倒掉以后有一定几率出现2A同时支持不同的SECONDARY,导致一直无法选择出新的PRIMARY。

表现是mongos查询报错:

> db.users.find()  

error: { "$err" : "error querying server: 10.10.21.163:27018", "code" : 13633 }  

> db.users.find()  

error: {  

        "$err" : "DBClientBase::findOne: transport error: 10.10.21.163:27018 query: { setShardVersion: \"test.users\", configdb: \"10.7.3.228:27019\", version: Timestamp 11000|1, serverID: ObjectId('4e2f64af98dd90fed26585a4'), shard: \"shard0000\", shardHost: \"10.10.21.163:27018\" }",  

        "code" : 10276  

}  

> db.users.find()                                                                             

error: { "$err" : "socket exception", "code" : 11002 }

手动添加的话一个 SECONDARY还是报错

> db.runCommand({addshard:"10.10.21.164:27017"});   

{  

        "ok" : 0,  

        "errmsg" : "host is part of set: set163164 use replica set url format /,,...."  

解决办法:重新启动其中一个SECONDARY问题解决。

具体操作如下:

use admin  

var cfg={_id:"set162163164", members:[{_id:0,host:"10.10.21.162:27018"}, {_id:1,host:"10.10.21.163:27017"}, {_id:2,host:"10.10.21.164:27017",arbiterOnly:true} ]}  

rs.initiate(cfg)  

rs.conf()

 

use admin  

#db.runCommand({addshard:"set162163164/10.10.21.162:27018,10.10.21.163:27017,10.10.21.164:27017"})       #正常添加3台  

db.runCommand({addshard:"set162163164/10.10.21.162:27018,10.10.21.163:27017"})       #arbiter  

db.runCommand({addshard:"10.10.21.165:27018"})   

db.runCommand({enableSharding:"test"})   

db.runCommand({shardcollection:"test.users",key:{_id:1}}) 

 

 

13.通过ulimit -a来控制mongodb使用内存的大小

ulimit 是控制着所有进程的内存大小,怎么针对MongoDB进行控制呢? 

其实可以变通的,我们在自己linux里使用一个用户来运行MongoDB,其它程序用其它用户进行运行。因为ulimit是可以限制指定用户资源的.

通过ulimit -a来查看所有可以修改的资源

ulimit -a @root  

-t: cpu time (seconds) unlimited  

-f: file size (blocks) unlimited  

-d: data seg size (kbytes) unlimited  

-s: stack size (kbytes) 8192  

-c: core file size (blocks) 0  

-m: resident set size (kbytes) unlimited  

-u: processes 1024  

-n: file descriptors 1024  

-l: locked-in-memory size (kb) 64  

-v: address space (kb) unlimited  

-x: file locks unlimited  

-i: pending signals 15661  

-q: bytes in POSIX msg queues 819200  

-e: max nice 0  

-r: max rt priority 0  

这里我们修改的是 ulimit -v: address space(kb) 选项 也就是用户进程的最大虚拟地址空间。 

我们新建个用户cb,在启动mongod之前 

ulimit -v 1000000 修改最大虚拟地址空间为1G 

然后运行mongod 端口为10000,并执行1000W的数据插入脚本。

再使用root用户,不对ulimit进行任何修改,开起另外一个mongod 端口为20000 ,也同时进行1000W的数据插入.