Mongodb优化配置项
Evict数据
| 参数名称 | 含义 | 百分比 |
|---|---|---|
| eviction_target | 当Cache的使用量达到了对应的百分比时触发Evict线程淘汰page | 80% |
| eviction_trigger | 当Cache的使用量达到了对应的百分比时触发Evict线程和用户线程淘汰page | 95% |
| eviction_dirty_target | 当”脏数据“所占Cache达到对应的百分比触发Evict线程淘汰page | 5% |
| eviction_dirty_trigger | 当”脏数据“所占Cache达到对应的百分比触发Evict线程和用户线程淘汰page | 20% |
可以使用adminCommand动态设置或者使用环境变量
db.adminCommand({setParameter: 1, wiredTigerEngineRuntimeConfig:`eviction_target=80, eviction_trigger=90,eviction_dirty_target=1,eviction_dirty_trigger=80`})
环境变量设置
WIREDTIGER_CONFIG=eviction_target=80,eviction_trigger=90,eviction_dirty_target=1,eviction_dirty_trigger=80
假如写入的数据量比较大，可以设置eviction_dirty_trigger=eviction_target=80。让脏数据和缓存的触发Evict比例相同。cache几乎为脏数据，之前缓存的干净数据会被Evict到磁盘里面。如果写入的数据是读取的数据，就会直接读取脏数据。在特定的情况下，可以这样配置。
满足eviction_dirty_trigger或者eviction_trigger，用户线程参与evict数据，所有的数据库操作将会被堵塞。应避免脏数据写满，或者调整eviction_dirty_trigger比例，避免用户线程参与evict数据。
Evict线程
默认evict线程为4，调整evict线程数，提高evict速度。
db.adminCommand({setParameter: 1, wiredTigerEngineRuntimeConfig:`eviction=(threads_min=8,threads_max=16)`})
环境变量设置
WIREDTIGER_CONFIG=eviction=(threads_min=8,threads_max=16)
Checkpoint刷盘
db.adminCommand({setParameter: 1, wiredTigerEngineRuntimeConfig:`checkpoint=(wait=30,log_size=1GB)`})
环境变量设置
WIREDTIGER_CONFIG=checkpoint=(wait=30,log_size=1GB)
| 参数名称 | 含义 | 默认值 |
|---|---|---|
| wait | seconds to wait between each checkpoint; setting this value above 0 configures periodic checkpoints. | 60 |
| log_size | wait for this amount of log record bytes to be written to the log between each checkpoint. If non-zero, this value will use a minimum of the log file size. A database can configure both log_size and wait to set an upper bound for checkpoints; setting this value above 0 configures periodic checkpoints. | 2GB |
如果写入数据还没到Evict的比例，只能通过checkpoint定时刷盘。通过调整checkpoint的wait时间，即时把脏数据写入磁盘，避免用户线程参与evict数据。减少checkpoint的wait时间可以提交磁盘IO的利用率。
缓存大小
默认wiredTiger使用主机的一半内存。MongoDB除了wiredTiger的缓存占用内存外，线程池、网络连接，tcmalloc的内存分配器、操作系统的文件读写缓存都会占用主机内存。所以wiredTiger的缓存大小设置，并不一定就是MongoDB的内存占用大小。通常MongoDB会经可能沾满整个主机的内存。
db.adminCommand({setParameter: 1, wiredTigerEngineRuntimeConfig:`cache_size=40GB`})
环境变量设置
WIREDTIGER_CONFIG=cache_size=40GB
hash bucket配置
集合数越多，需要打开的集合文件越多。在MongoDB启动的时候，都会去查找并存储集合文件的dhandle。大部分的时候都浪费在handleLock和schemaLock上。默认的buckets个数为512，可以调整buckets个数来减轻handleLock和schemaLock的时间。
timeWaitingMicros: { handleLock: 81530, schemaLock: 993787 } } protocol:op_msg 1201ms
db.adminCommand({setParameter: 1, wiredTigerEngineRuntimeConfig:`hash=(buckets=65536,dhandle_buckets=65536)`})
环境变量设置
WIREDTIGER_CONFIG=hash=(buckets=65536,dhandle_buckets=65536)
读写并发设置
wiredTigerConcurrentReadTransactions
允许并发读取的最大值，默认128。
db.adminCommand( { setParameter: 1, wiredTigerConcurrentReadTransactions: <num> } )
wiredTigerConcurrentWriteTransactions
允许并发写入的最大值，默认128。
db.adminCommand( { setParameter: 1, wiredTigerConcurrentWriteTransactions: <num> } )
tcmalloc
tcmalloc提供了释放速度字段来调节缓存的释放速度tcmallocReleaseRate，从0-9，0表示永不释放，默认是1
db.adminCommand({setParameter:1, tcmallocReleaseRate:4})