云数据库MongoDB版日志清理策略和compact命令详解

1、问题描述：

今天看到公司mongodb的oplog有点大，看到云数据库MongoDB版日志清理策略。

MongoDB数据库在长期频繁地删除/写入数据或批量删除了大量数据，将产生很多物理空间碎片。

这些碎片将占用磁盘空间，降低磁盘利用率。

您可以对集合中的所有数据和索引进行重写和碎片整理，释放未使用的空间，提升磁盘利用率和查询性能。

下图说明：

2、前提条件

mongo实例的存储引擎为WiredTiger。

3、详细信息

• 用户禁止使用  db.repairDatabase命令。
• 日志占用空间过大时，会触发自动清理策略。

4、注意事项

• 执行该操作前，建议对数据库进行备份
• 执行该操作会导致集合所属的数据库被锁定，且该数据库的读写操作将被阻塞，请在业务低峰期操作。
• 说明：执行物理空间回收命令（compact）所需的时间与集合数据量、系统负载等因素有关。

5、remove与drop的区别

MongoDB 里删除一个集合里所有文档，有两种方式

• db.collection.remove({}, {multi: true})，逐个文档从 btree 里删除，最后所有文档被删除，但文件物理空间不会被回收
• db.collection.drop() 删除集合的物理文件，空间立即被回收

multi：可选，mongodb 默认是false,只更新找到的第一条记录，如果这个参数为true,就把按条件查出来多条记录全部更新。

总的来说：

新写入的数据将会使用未被回收的物理空间，所以在数据持续写入的场景中，不需要频繁执行compact命令整理物理空间碎片。

有的场景，remove 了大量的数据后，后续的写入可能并不多，这时如果想回收空间，就需要显式的调用 compact。

6、compact 具体做了什么？

Compact 动作最终由存储引擎 WiredTiger 完成，WiredTiger 在执行 compact 时，会不断将集合文件后面的数据往前面空闲的空间写，

然后逐步 truancate 文件回收物理空间。每一轮 compact 前，WT 都会先检查是否符合 comapact 条件。

1. 前面80%的空间里，是否有20%的空闲空间，用于写入文件后面20%的数据，或者
2. 前面90%的空间里，是否有10%的空闲空间，用于写入文件后面10%的数据

如果上面都不满足，说明执行compact肯定无法回收10%的物理空间，此时 compact 就回退出。

所以有时候遇到对一个大集合进行 compact，compact立马就返回ok：1，集合的物理空间也没有变化，就是因为 WiredTiger 认为这个集合没有 compact 的必要。

7、预估回收的物理空间

1、连接mongo实例parmary或scondary

2、切换至集合所在的数据库。

use <database_name>

3、执行下列命令查询预估回收空间。

db.<collection_name>.stats().wiredTiger["block-manager"]["file bytes available for reuse"]

4、执行结果示例：

整理单节点实例/副本集实例的碎片

1、通过mongo shell连接MongoDB实例的Primary节点

2、切换至集合所在的数据库。

use <database_name>

3、执行db.stats()命令查看碎片整理前数据库占用的磁盘空间。

4、执行以下命令，对某个集合进行碎片整理。

db.runCommand({compact:"<collection_name>",force:true})

5、等待执行，返回{ "ok" : 1 }代表执行完成。

6、碎片整理完毕后，可通过db.stats()命令查看碎片整理后数据库占用的磁盘空间

本案例碎片整理前后的对比如下图所示：

参数说明：

<database_name>：数据库名。
<collection_name>：集合名。
force为可选项，如您需要在副本集实例的Primary节点执行该命令，需要设置force的值为true。
compact操作不会传递给Secondary节点，当实例为副本集实例时，请重复上述步骤通过mongo shell连接至Secondary节点，执行碎片整理命令。

整理分片集群实例的碎片

1、通过mongo shell连接分片集群实例中的任一mongos节点

2、执行db.stats()命令查看碎片整理前数据库占用的磁盘空间。

3、执行以下命令，对Shard节点中的Primary节点进行集合的碎片整理。

db.runCommand({runCommandOnShard:"<Shard ID>","command":{compact:"<collection_name>",force:true}})

4、执行以下命令，对Shard节点中的Secondary节点进行集合的碎片整理。

db.runCommand({runCommandOnShard:"<Shard ID>","command":{compact:"<collection_name>"},queryOptions: {$readPreference: {mode: 'secondary'}}})

参数说明：

<Shard ID>：Shard节点ID。
<collection_name>：集合名。

碎片整理完毕后，可通过db.runCommand({dbstats:1}) 命令查看碎片整理后数据库占用的磁盘空间。