ES删除文档，未释放存储空间？

索引原理

ElasticSearch 是基于 Apache Lucene 开发的，内部自然沿用的就是 Lucene 的倒排索引，关于倒排索引大致的逻辑模型可以参考如下：

假设有两篇文档：
Doc1: Life goes on, impossible is nothing;
Doc2: Life is like a boat;
那么，索引的文件组织逻辑应该是这样的

词项	文档ID
life	Doc1,Doc2
is	Doc1,Doc2
goes	Doc1
on	Doc1
like	Doc2
nothing	Doc1
impossible	Doc1
boat	Doc2

对倒排索引以及 Apache Lucene 机制理解了，ES 很多相关的东西很容易深入。

遇到问题：

实际过程中，在删除文档后，磁盘空间并未释放，反而增加？

更新 & 删除机制

删除： 每个段中维护一个.del 文件，ES 只是逻辑删除文档，在.del 文件中标记为已删除，查询依然可以查到，但是会在结果中过滤掉；

• 1）删除索引是会立即释放空间的，不存在所谓的“标记”逻辑。
• 2）删除文档的时候，是将新文档写入，同时将旧文档标记为已删除。 磁盘空间是否释放取决于新旧文档是否在同一个segment file里面，因此ES后台的segment merge在合并segment file的过程中有可能触发旧文档的物理删除。

但因为一个shard可能会有上百个segment file，还是有很大几率新旧文档存在于不同的segment里而无法物理删除。想要手动释放空间，只能是定期做一下force merge，并且将max_num_segments设置为1。

更新：引入版本的概念，旧版本的记录将在 .del 文件中标记为删除，新版本的文档将被索引到一个新段（Segment）。

==有了上面的认知，我们可以设置仅保存近100天的数据,，并执行forcemerge操作==

• 1）delete_by_query设置检索近100天数据；
• 2）执行forcemerge操作，手动释放磁盘空间。

删除脚本如下：

#!/bin/sh
curl -H'Content-Type:application/json' -d'{
    "query": {
        "range": {
            "pt": {
                "lt": "now-100d",
                "format": "epoch_millis"
            }
        }
    }
}
'-XPOST "http://192.168.1.1:9200/logstash_*/_delete_by_query?conflicts=proceed"

merge脚本如下：

#!/bin/sh
curl -XPOST 'http://192.168.1.1:9200/logstash_*/_forcemerge?
only_expunge_deletes=true&max_num_segments=1'

实际上调用forcemerge也不是真正的删除，而是重新创建了不包含已删除的doc的segments。