ES索引切分

提示：对于一些日志类的数据，我们常用到es作为存储，数据量过大时，可能会用到索引切分，这里可以参考

---

前言

在生产项目中，由于ElasticSearch单个索引数据量大，索引中部分数据不常用，在搜索和写入文档时，效率较低。为了减小单个索引的数据量，提升搜索和文档写入效率，将大索引根据一定的规则拆分为小的索引。

---

直接上干货，不多bb（记得点赞，收藏，是我最大的动力）

方案一：ES索引切分验证（policy策略）

配置ilm策略 （max_docs = 1 测试用）

• Ilm策略和模板搭配使用，模板引用此策略

PUT _ilm/policy/das_v5_policy
{
  "policy":{
    "phases": {
      "hot": {
        "actions": {
          "set_priority": {
            "priority": 100
          },
          "rollover": {
            "max_age": "1d",
            "max_docs": 1,
            "max_size": "5gb"
          }
        }
      }
    }
  }
}

查询ilm策略

GET _ilm/policy

rollover检测索引策略默认10min - 配置为3s 测试

PUT _cluster/settings
{
  "transient": {
    "indices.lifecycle.poll_interval":"3s"
  }
}

创建索引模板

说明：创建索引模板，具体的_mapping根据审计日志确定
das_v5_policy 为指定 策略名称
das_v5_index 滚动触发的别名

PUT _template/das_v5_template
{
  "index_patterns":["das_v5_*"],
  "settings":{
    "number_of_shards":2,
    "number_of_replicas":0,
    "index.lifecycle.name":"das_v5_policy",
    "index.lifecycle.rollover_alias":"das_v5_index "
  }, 
  "mappings": {
    "properties": {
      "name":{
      "type":"keyword"
    },
    "age":{
      "type":"long"
    }
    }
  }
}

创建索引，指定别名

说明：创建索引，指定别名，允许索引写入数据

PUT das_v5_20210121-000001
{
  "aliases": {
    "das_v5_index": {
      "is_write_index":true
    }
  }
}

使用别名插入数据

说明：每次put数据，会产生一个新的索引

POST das_v5_index/_doc
{
  "name":"yxd",
  "age":17
}

第一次put数据

策略配置3秒检测一次，所以3秒后再次put结果：
索引自动滚动，验证成功，由 03 变成 04

仔细研究，发现存在一个问题

1. 使用策略进行维护管理索引，需要配置好模板- 模板和策略关联，必须使用别名
2. 历史数据问题：
   • Rollover控制索引滚动，写入数据使用别名写入，那么使用别名写入时，无法向历史索引写入数据
   • 手动使用指定历史索引写入数据，不使用别名，那么索引无法自动进行切分，策略不会生效

如上图所示：

1. 此时别名das_v5_index 已经滚动到das_v5_20200123_02索引上
2. Write通过别名无法向索引das_v5_20200122_02写入数据

解决方案

多模板多别名同策略模式

①　创建日期模板 YYYYMM 日期替换

PUT _template/das_v5_template_YYYYMM
{
  "index_patterns":["das_v5_YYYYMM*"],
  "settings":{
    "number_of_shards":2,
    "number_of_replicas":0,
    "index.lifecycle.name":"das_v5_policy",
    "index.lifecycle.rollover_alias":"das_v5_index_YYYYMM"
  }, 
  "mappings": {
    "properties": {
      "name":{
      "type":"keyword"
    },
    "age":{
      "type":"long"
    }
    }
  }
}

②　创建该日期符合索引模板的索引,并配置日期格式别名

PUT das_v5_YYYYMM-000001
{
  "aliases": {
    "das_v5_index_YYYYMM": {
      "is_write_index":true
    }
  }
}

③　使用别名插入当天数据

POST das_v5_index_YYYYMM/_doc
{
  "name":"yxd",
  "age":17
}

④　如果索引模板多了，可删除N天之前的模板

DELETE _Template/ das_v5_index_YYYYMM

备注：重复put索引，产生异常，可能导致策略无法维护索引，集群部署状态下，可能要考虑相关问题

方案二：多别名，rollover方式

该方案为：

1. 创建一个独立公用的索引模板

2. 使用日期滚动创建索引，并使用别名（一次可创建多个索引/别名，未来几天的）

   实现：可通过定时任务，每天凌晨执行，创建未来几天要用到的索引
   

3. 代码每次提交写入es数据之后， Rollover 检测滚动一次

创建公共索引模板

代码如下（示例）：

创建索引

说明：定时任务，执行创建日期-索引并使用日期别名，查询也可使用日期别名

数据插入

说明：程序插入数据，只需要使用日期别名，插入数据到es即可，历史数据使用历史当天日期的别名插入

索引切分

第一种：
每次数据插入提交之后，可代码手动rollover一次

第二种：
定时任务管理rollover，查询最近几天的索引，定时检测切分，可每10分钟一次（一二种，可同时用）

---

总结

推荐使用方案二：
优点：

1. 简单好用，不用担心集群部署等会出现的问题
2. 查询也可使用别名
3. 索引切分方式灵活，可靠
4. 插入历史数据等，都可使用别名插入，不用做多余的开销维护