ES中的索引生命周期管理

ILM

ILM:索引生命周期管理,即Manage the index lifecycle

使用ILM应确保集群中的所有节点运行的是同一个版本,不然无法保证他们会按预期工作。

索引生命周期

索引的生命周期有四个阶段:

  1. Hot:索引更新和查询很活跃。
  2. Warm:索引不再更新,但仍然有查询
  3. Cold:索引不再更新,只有很少的查询,而且查询速度也很慢
  4. Delete:索引不需要了,可以安全的删除

索引的生命周期策略指定了适用于哪些阶段、在每个阶段中执行哪些操作以及何时在各个阶段之间进行转换。

rollover

当索引满足一定条件之后,将不再写入数据,而是自动创建一个索引,所有的数据将写入新的索引。

使用滚动索引能够:

  1. 优化活跃索引,在高性能hot节点上提升高接收速率。
  2. 优化warm节点搜索性能。
  3. 将旧的、访问频率低的数据转移到成本低的cold节点上。
  4. 通过删除整个索引,根据索引保留策略删除数据。

官方推荐使用data stream数据流来管理时间序列数据。每个数据流都需要一个索引模板,其中包括:

  1. 数据流的名称或通配符(*)模式。
  2. 数据流时间戳字段。该字段必须映射为datedate_nanos数据类型。并且包含在索引到该数据流的每个文档中。
  3. 当创建每一个索引时将应用索引模板的映射和设置。

数据流专为追加数据而设计,其中数据流名称可用作操作(读取、写入、翻转、收缩等)目标。如果需要更新数据,可以使用索引别名来管理时间序列数据。

自动 rollover

ILM会根据你的配置:索引大小文档数量所在阶段 ,当满足这些条件时,自动实现rollover

索引生命周期策略的更新

  1. 生命周期策略被应用到索引上时,索引会获取当前策略的最新版本号。如果更新了当前策略,版本号会发生冲突,ILM就能检测出当前索引正在使用上一个版本的策略,需要将索引策略更新到最新版本。
  2. 如果将不同的策略应用到已经被管理的索引上时,索引还是使用先前管理策略中的缓存定义来完成当前阶段。直到进入下一个阶段,索引才会应用新的管理策略。

索引生命周期操作

  1. allocate:将分片移动到具有不同性能特征的节点上,并减少副本的数量。
  2. delete:永久移除索引。
  3. force merge:减少索引段的数量并清除已删除的文档。使索引为只读
  4. freeze:冻结索引以最大程度减少其内存的占用量。
  5. read only:阻止对索引的写操作。
  6. rollover:删除索引作为过渡别名的写索引,然后开始索引到新索引。
  7. set priority:降低索引在生命周期中的优先级,以确保首先恢复热索引。
  8. shrink:通过将索引缩小为新索引来减少主分片的数量。
  9. unfollow:将关注者索引转换为常规索引。在进行滚动或收缩操作之前自动执行。
  10. wait for snapshot:删除索引之前,确保快照存在。

配置生命周期策略

要让ILM管理索引,必须要在index.lifecycle.name索引设置中指定有效的策略。

要为滚动索引创建生命周期策略,你要创建该策略并把它加入到索引模板中。

创建生命周期策略

可以通过Kibana管理页面设置,也可以通过API设置。

PUT _ilm/policy/my_policy
{
    "policy": {
        "phases": {
            "hot": {
                "actions": {
                    "rollover": {
                        "max_size": "25GB"
                    }
                }
            },
            {
                "delete": {
                    "min_age": "30d",
                    "actions": {
                        "delete": {}
                    }
                }
            }
        }
    }
}
将生命周期策略应用到索引模板中

可以通过Kibana管理页面设置,也可以通过API设置。

PUT _index_template/my_template
{
    "index_patterns": ["test-*"],
    "template": {
        "settings": {
            "number_of_shards": 1,
            "number_of_replicas": 1,
            "index.lifecycle.name": "my_policy",
            "index.lifecycle.rollover_alias": "test-alias"
        }
    }
}
创建一个初始被管理的索引

如果要给滚动索引设置策略,需要手动创建第一个被该策略管理的索引,并指定为可写索引。

索引的名称必须跟索引模板里定义的模式相匹配,并且以数字结尾。

PUT test-000001
{
    "aliases": {
        "test-alias": {
            "is_write_index": true
        }
    }
}
手动应用生命周期策略

你可以在创建索引的时候指定一个策略,也可以直接将策略应用到一个已经存在的索引上通过Kibana管理或者更新设置的API。一旦你应用了策略,ILM立即会开始管理该索引。

PUT test-index
{
    "settings": {
        "number_of_shards": 1,
        "number_of_replicas": 1,
        "index.lifecycle.name": "my_police"
    }
}
将策略应用于多个索引
PUT mylogs-pre-ilm*/_settings
{
    "index": {
        "lifecycle": {
            "name": "mylogs_policy_existing"
        }
    }
}

解决生命周期策略运行报错

查看错误:

GET /my-index-000001/_ilm/explain   

重新运行报错的一步:

POST /my-index-000001/_ilm/retry

开启和终止索引生命周期管理

查看ILM状态:

GET _ilm/status

# 返回结果
{
    "operation_mode": "RUNNING"
}

终止ILM

POST _ilm/stop

# 返回结果
{
    "operation_mode": "STOPPING"
}

{
    "operation_mode": "STOPPED"
}

开启ILM

POST _ilm/start

跳过rollover

设置index.lifecycle.indexing_completetrue

举个例子,如果你要改变一系列新索引的名称,并保留之前根据你配置的策略产生的索引数据,你可以:

  1. 为新的索引模式创建一个模板,并使用之前相同的策略。
  2. 根据新的模板创建一个初始索引。
  3. 使用索引别名API将别名的write索引更改为bootstrapped索引。
  4. 设置旧索引的index.lifecycle.indexing_complete的值为true

相关连接:https://www.elastic.co/guide/en/elasticsearch/reference/7.9/index-lifecycle-management.html


获取最新文章,可关注博客地址:https://jenkinwang.github.io/

你可能感兴趣的:(ES中的索引生命周期管理)