elasticsearch 创建index 原则

        相信有不少读者用elasticsearch的时候第一个难题就是如何创建好一个index。下面给出具体的样例和原则,帮助大家创建一个相对适合自己业务场景的index,有助于开展后续的开发工作。

        先上创建index的模板:

curl -XPUT 'http://127.0.0.1:9200/my_index_name_v1?pretty' -d '{
  "aliases": {
    "my_index_name": {} 
  },
  "settings": {
    "index": {
      "refresh_interval": "10s",
      "number_of_shards" : "12",
      "number_of_replicas" : "1",
      "search.slowlog.threshold.query.warn": "5s",
      "search.slowlog.threshold.query.info": "1s",
      "search.slowlog.threshold.fetch.warn": "1s",
      "search.slowlog.threshold.fetch.info": "800ms",
      "indexing.slowlog.threshold.index.warn": "12s",
      "indexing.slowlog.threshold.index.info": "5s"
    }
  },
  "mappings": {
    "my_type_name": {
      "properties": {
        "xxx_id": {
          "type": "keyword"
        },
        "timestamp" : {
          "type": "long"
        },
        "@timestamp" : {
          "type": "date"
        },
        "xxx_status": {
          "type": "integer"
        },
        "xxx_content": {
          "type": "text"
        }
      }
    }
  }
}'

        现在讲该模板进行分类讲解:

URI部分

  1. http方法:首先要注意是put方法,es的http接口严格遵从restful风格,创建属于put。大家在用某些工具注意选择正确的方法,比如cerebro插件的默认方法是post,方法使用不当,除了命令执行失败以外还有可能会污染mapping结构。
  2. index名字:若业务类型只需要建立一个固定的index进行业务访问,强烈推荐让你的index名字加后缀_v1,方便后续因为主分片数调整或者调整某字段类型等原因需要reindex。若不加后缀,且没有指定好index的别名,最终的结果是reindex需要业务线停止写入,且需要改代码将访问index名字改为index的别名,这时可能会取名为xxx_v1,导致额外的工作。总之,建议index名字为your_indexname_v1,而别名为index_name。
  3. pretty标记,建议加入,但不强制。

设置部分

  1. refresh_interval:该设置主要是每隔多久刷新数据,可以让刚刚写入的数据被查到。若写入数据量较大或者业务对于变更后及时查到的要求不高,则可以设置时间大一些。推荐一些粗糙的准则,若一天的写入能超过100g的数据量,则建议至少设置为10s,500g设置为60s,1T以上设置为120s。具体的以当时集群硬件配置和所有index读取写入的情况而定。
  2. number_of_shards和number_of_replicas:主分片数和副本分片数,推荐直接设置为12,副本分片数设置为1。具体可以参考文章:https://blog.csdn.net/tanruixing/article/details/87883896
  3. 慢日志设置:建议读取写入根据业务访问情况进行设置,唯一需要注意的是不要设置过小,则可能会将磁盘打满,甚至影响数据存储。强烈推荐必须设置,方便后续观察业务使用情况。

mapping部分

  1. type名字:一般来讲,推荐一个index对应一个type,若有多个type,则所有的type的字段大部分应该是相同的。若全部不同,推荐将type设置为index的名字,分成多个index,防止由于文档字段稀疏导致浪费存储。
  2. 字段名称包含id,推荐用keyword类型,若业务能确认一定是字符串类型,则可以用long型
  3. 时间戳类型,推荐为long型,方便业务访问,或者date类型,方便kibana和grafana访问。
  4. status或者type字段,推荐用integer类型,便于枚举
  5. content字段,推荐确认对应的分词器,设置为text类型,不推荐用keyword。特别是字段很长的情况。

你可能感兴趣的:(elasticsearch)