Elasticsearch 常用 HTTP 接口

本文记录工作中常用的关于 Elasticsearch 的 HTTP 接口,以作备用,读者也可以参考,会持续补充更新。开发环境基于 Elasticsearch v5.6.8v1.7.5v2.x

集群状态

集群信息

1
2
3
4
5
6
7
http://localhost:9200/_cluster/stats?pretty
http://localhost:9200/_cat/nodes
http://localhost:9200/_cat/indices
http://localhost:9200/_cluster/state
http://localhost:9200/_cat/aliases

GET _nodes/_all/stats/fs?pretty=true

可以看到整个集群的索引数、分片数、文档数、内存使用等等信息。

健康状况

1
http://localhost:9200/_cat/health?v

可以看到分片数量,状态【红、黄、绿】。

空间使用

查询每个节点的空间使用情况,预估数据大小:

1
http://localhost:9200/_cat/allocation?v

分片分布

1
http://localhost:9200/_cat/shards

索引状态

可以看到索引的数据条数、磁盘大小、分片个数【可以使用别名】。

各项指标解释说明参考:indices-stats 。

1
http://localhost:9200/your_index/_stats

集群配置信息

1
http://localhost:9200/_cluster/settings?pretty

对于一些可以设置的参数,临时生效,对于集群的管理很有帮助。

例如节点黑名单:cluster.routing.allocation.exclude._ip,临时下线节点,类似于黑名单,分片不会往指定的主机移动,同时会把分片从指定的节点全部移除,最终可以下线该节点,可通过 put transient 设置临时生效。

1
2
3
4
5
curl -XPUT 127.0.0.1:9200/_cluster/settings -d '{
    "transient" :{
        "cluster.routing.allocation.exclude._ip" : "192.168.0.1"
    }
}'

例如临时关闭分片重分配【开启时设置值为 all】。

1
2
3
4
5
6
7
8
9
10
11
12
curl -XPUT 127.0.0.1:9200/_cluster/settings -d '{
    "transient": {
        "cluster.routing.allocation.enable": "none"
    }
}'

PUT /_cluster/settings/
{
    "transient": {
        "cluster.routing.allocation.enable": "none"
    }
}

设置整个集群每个节点可以分配的分片数,主要是为了数据分布均匀。

1
2
3
4
5
6
7
8
GET _cluster/settings

PUT /_cluster/settings/
{
    "transient": {
        "cluster.routing.allocation.total_shards_per_node": "50"
    }
}

设置慢索引阈值,指定索引进行操作,可以使用通配符:

1
2
3
curl -XPUT 127.0.0.1:9200/your_index_*/_settings -d '{
  "index.indexing.slowlog.threshold.index.info": "10s"
}''

设置慢查询阈值方式类似:

1
2
3
curl -XPUT 127.0.0.1:9200/your_index_*/_settings -d '{
  "index.indexing.slowlog.threshold.search.info": "10s"
}'

推迟索引分片的重新分配时间平【适用于 Elasticsearch 节点短时间离线再加入集群,提前设置好这个参数,避免从分片的复制移动,降低网络 IO】。

1
2
3
4
5
6
PUT /your_index/_settings
{
  "settings": {
    "index.unassigned.node_left.delayed_timeout": "5m"
  }
}

可以使用索引别名、通配符设置,这样就可以一次性设置多个索引,甚至全部的索引。

热点线程

查看热点线程,可以判断热点线程是 searchbulk,还是 merge 类型,从而进一步分析是查询还是写入导致 CPU 负载过高。

1
2
3
http://localhost:9200/_nodes/node0/hot_threads

http://localhost:9200/_nodes/hot_threads

请求队列

查看请求队列情况,可以看到每种类型请求的积压情况:

1
2
3
4
5
6
7
8
9
10
11
12
13
http://localhost:9200/_cat/thread_pool?v

# 添加参数可以查看各个指标 
http://localhost:9200/_cat/thread_pool/search?v&h=node_name,ip,name,active,queue,rejected,completed,type,queue_size

 注意,size 指标【在节点启动时是 0,随着请求进来才会增加】有特殊含义,不代表配置文件中的 size 参数【fixed 类型】。

size:会从 0 开始增长,表示已经开启的线程池大小,直到 max 值,即配置文件中配置的。
min、max:含义根据线程池类型不同而不同。

 查询请求:/_tasks?detailed=true&actions=*search*
 取消单个请求:/_tasks/xx/_cancel
 取消整个节点:/_tasks/_cancel?nodes=xx&actions=*search*

节点配置信息

可以查看节点的 JVM 配置、插件信息、队列配置等等。

1
2
3
http://localhost:9200/_nodes/node_id
http://localhost:9200/_nodes?pretty=true
http://localhost:9200/_nodes/stats/thread_pool?pretty=true

注意,thread_pool 线程池相关参数自从 v5.x 以后不支持动态设置【即通过 put 接口】,只能通过更改节点的配置文件并重启节点来操作,这也说明了这个参数是对于节点生效,不同配置的节点可以设置不同的值。

使用堆内存大小

使用

1
http://localhost:9200/_cat/fielddata

查看当前集群中每个数据节点上被 fielddata 所使用的堆内存大小。

此外还可以指定字段

1
2
http://localhost:9200/_cat/fielddata?v&fields=uid&pretty
http://localhost:9200/_cat/fielddata/uid?v&pretty

按照节点、索引来查询:

1
2
3
4
5
6
7
8
9
 按照索引、分片 
http://localhost:9200/_stats/fielddata?fields=*

 按照节点 
http://localhost:9200/_nodes/stats/indices/fielddata?fields=*

 按照节点、索引分片 
http://localhost:9200/_nodes/stats/indices/fielddata?level=indices&fields=*
http://localhost:9200/_nodes/stats/indices/fielddata?level=indices&fields=_uid

清理缓存

1
2
3
curl localhost:9200/index/_cache/clear?pretty&filter=false&field_data=true&fields=_uid,site_name

 关于 `&bloom=false` 参数的问题,要看当前 `Elasticsearch` 版本是否支持,`v5.6.x` 是不支持了。

推迟索引分片的重新分配时间

适用于节点短时间离线再加入集群,提前设置好,避免从分片的复制移动。

1
2
3
4
5
6
PUT your_index/_settings
{
  "settings": {
    "index.unassigned.node_left.delayed_timeout": "5m"
  }
}

排除掉节点

不让索引的分片分配在上面,想取消设置为 null 即可。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
# 索引级别的 
PUT your_index/_settings
{
  "index.routing.allocation.exclude._ip": "ip1,ip2"
}

# 集群级别的,等价于下线节点,滚动重启时需要 
PUT /_cluster/settings/
{
    "transient": {
        "cluster.routing.allocation.exclude._ip": "ip1,ip2"
    }
}

# 集群均衡移动分片的并发数,不能太大 
cluster.routing.allocation.cluster_concurrent_rebalance

基于负载的智能路由查询

v6.2 以及以上版本,search 智能路由设置,v7.0 以及以上版本默认开启。

1
2
3
4
5
6
PUT /_cluster/settings
{
    "transient": {
        "cluster.routing.use_adaptive_replica_selection": true
    }
}

查询全局超时时间

search 全局超时时间,避免某些耗时的查询把集群拖垮。

1
2
3
search.default_search_timeout

 示例:5m

查询时指定分片主机等

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
preference=_shards:8,12
preference=_only_nodes:1
preference=_primary
preference=_replica
 
POST your_index/_search?preference=_shards:12
{
  "query": {
    "match_phrase": {
      "content": " 查证 & quot;
    }
  }
}

# 注意,指定节点之后还要指定分片,否则查询时报错:找不到某个分片对应的节点。
# 示例:
POST your_index_name/_search?preference=_only_nodes:YKA3ZivmSj2K6qutW6KNQQ&preference=_shards:3
{
  "query": {
    "match_all": {
        
    }
  }
}

分片迁移的并发数带宽流量大小等等

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# 并发数 
PUT _cluster/settings
{
  "transient": {
    "cluster.routing.allocation.node_concurrent_outgoing_recoveries": "3",
    "cluster.routing.allocation.node_concurrent_incoming_recoveries": "3",
    "cluster.routing.allocation.node_concurrent_recoveries": 3
  }
}

# 带宽 
PUT _cluster/settings
{
    "transient": {
        "indices.recovery.max_bytes_per_sec": "20mb" 
    }
}

只读索引问题

在集群机器的磁盘快用完之前,集群会自动设置这台机器上面的节点的索引为【只读模式】,不可写入,写入直接拒绝并抛出异常信息。

1
20/10/10 19:02:44 ERROR ESBulkProcessor: {"index":"your_index_name","type":"post","id":"12aad31610551fb2e236367bbde01db7","cause":{"type":"exception","reason":"Elasticsearch exception [type=cluster_block_exception, reason=blocked by: [FORBIDDEN/12/index read-only /allow delete (api)];]"},"status":403}

此时,除了清理数据,还需要手动设置。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
GET your_index_*/_settings
 
PUT your_index_*/_settings
{
  "index": {
    "blocks": {
      "read_only_allow_delete": "false"
    }
  }
}
 
PUT your_index_*/_settings
{
  "index": {
    "blocks": {
      "read_only_allow_delete": null
    }
  }
}

参考官方文档:cluster.routing.allocation.disk.watermark.flood_stage 。

分析器

可以查看不同分析器的分词结果,或者基于某个索引的某个字段查看分词结果。下面列举一些例子,其它更多的内容请读者参考另外一篇博客:Elasticsearch 分析器使用入门指南 。

查看集群安装的各种分词器效果,指定文本内容、分词器即可:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
POST _analyze
{
  "text":" 行完成,是否成功请查看 ccc",
  "analyzer":"wordsEN"
}
 
POST _analyze
{
  "text":" 行完成,是否成功请查看 ccc",
  "analyzer":"standard"
}
 
POST _analyze
{
  "text":" 行完成,是否成功请查看 ccc",
  "analyzer":"english"
}

查看某个索引的某个字段的分词器效果【索引已经指定分词器,可以通过 mapping 查看】,指定索引名称、文本内容、字段名称,不要指定索引的 type,否则请求变为了新建文档:

1
2
3
4
5
POST my-index-post/_analyze
{
  "text":" 行完成,是否成功请查看 ccc",
  "field":"content"
}

查询时也可以指定分词器【不同分词器会影响返回的结果,例如 standard 分词器会过滤掉标点符号,所以查不到数据】,特别指定分词器即可。另外只能使用 match,不能使用 match_phrase

1
2
3
4
5
6
7
8
9
10
11
POST my-index-post/post/_search
{
  "query": {
    "match": {
      "content":{
        "query": ",",
        "analyzer": "standard"
      }
    }
  }
}

创建索引

创建带 mapping 的索引:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
PUT /my-index-post/
{
  "settings": {
    "index.number_of_shards": 3,
    "index.number_of_replicas": 1,
    "index.refresh_interval": "30s",
    "index.routing.allocation.total_shards_per_node": 3
  },
  "mappings": {
    "post": {
      "_all": {
        "enabled": false
      },
      "dynamic_templates": [
        {
          "title1": {
            "match": "title",
            "match_mapping_type": "*",
            "mapping": {
              "type": "text",
              "analyzer": "wordsEN"
            }
          }
        }
      ]
    }
  }
}

创建带 mapping 的 type【在索引已经存在的情况下】:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
PUT /my-index-post/_mapping/post/
{
    "_all": {
        "enabled": false
    },
    "dynamic_templates": [
        {
            "title1": {
                "mapping": {
                    "analyzer": "wordsEN",
                    "type": "text"
                },
                "match": "title"
            }
        },
        {
            "title2": {
                "mapping": {
                    "analyzer": "wordsEN",
                    "type": "text"
                },
                "match": "*_title"
            }
        }
    ],
    "properties": {
        "avatar_url": {
            "type": "keyword"
        }
    }
}

更新索引的 mapping【在索引、类型都已经存在的情况下】:

1
2
3
4
5
6
7
8
9
10
11
12
PUT /my-index-post/_mapping/post
{
  "post": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "english",
        "search_analyzer": "standard" 
      }
    }
  }
}

添加删除别名

给索引增加别名:

1
2
3
4
5
6
7
8
9
10
11
POST /_aliases
{
  "actions": [
    {
      "add": {
        "index": "my-index-post",
        "alias": "my-index-post-all"
      }
    }
  ]
}

移除索引的别名:

1
2
3
4
5
6
7
8
9
10
11
POST /_aliases
{
  "actions": [
    {
      "remove": {
        "index": "my-index-post",
        "alias": "my-index-post-all"
      }
    }
  ]
}

导入数据

1
2
3
4
5
6
7
 把文件中的数据导入索引,批量的形式 
 由于数据中可能存在一些特殊符号,所以使用文件的形式,in 为文件路径 
 文件内容格式,1 条数据需要包含 2 行内容,index 表示索引数据 
{"index":{}}
JSON 原始数据 

curl -XPOST 'http://localhost:9200/my-index-post/post/_bulk' --data-binary @"$in"

bulk 接口,详情参考另外一篇博客: 使用 Elasticsearch 的 bulk 接口批量导入数据 。

查询数据

脚本查询

Elasticsearch 提供了脚本的支持,可以通过 Groovy 外置脚本【已经过时,v6.x 以及之后的版本,不建议使用】、内置 painless 脚本实现各种复杂的操作【类似于写逻辑代码,对数据进行 ETL 操作,需要集群配置开启】。

以下是关于 v2.x 的说明:

默认的脚本语言是 Groovy,一种快速表达的脚本语言,在语法上与 JavaScript 类似。它在 Elasticsearch v1.3.0 版本首次引入并运行在沙盒中,然而 Groovy 脚本引擎存在漏洞,允许攻击者通过构建 Groovy 脚本,在 Elasticsearch Java VM 运行时脱离沙盒并执行 shell 命令。
因此,在版本 v1.3.8、1.4.3 和 v1.5.0 及更高的版本中,它已经被默认禁用。此外,您可以通过设置集群中的所有节点的 config/elasticsearch.yml 文件来禁用动态 Groovy 脚本:script.groovy.sandbox.enabled: false,这将关闭 Groovy 沙盒,从而防止动态 Groovy 脚本作为请求的一部分被接受。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
Groovy 脚本 
{
  "query": {
    "bool": {
      "filter": {
        "script": {
          "script": "doc ['keywords'].values.length == 2"
        }
      }
    }
  }
}

painless 脚本 
{
  "query": {
    "bool": {
      "filter": {
        "script": {
          "script": {
            "source": "doc ['keywords'].values.length == 2",
            "lang": "painless"
          }
        }
      }
    }
  }
}

{
  "query": {
    "bool": {
      "must": [
        {
          "range": {
            "update_timestamp": {
              "gte": 1607670109000
            }
          }
        },
        {
          "script": {
            "script": {
              "source": "(doc ['view_cnt'].value)>doc ['comment_cnt'].value",
              "lang": "painless"
            }
          }
        }
      ]
    }
  }
}

日期桶聚合

对日期格式的字段做桶聚合,可以使用 interval 设置桶间隔,使用 extended_bounds 设置桶边界,其它还可以设置时区、doc 过滤等。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
"aggs": {
    "by_month": {
      "date_histogram": {
        "field": "publish_timestamp",
        "interval": "day",
        "time_zone": "+08:00",
        "format": "yyyy-MM-dd",
        "min_doc_count": 100000,
        "extended_bounds": {
          "min": "2019-08-30",
          "max": "2019-09-24"
        }
      }
    }
  }

对于聚合结果不准的问题,可以增加参数,适当提高准确性。size 参数规定了最后返回的 term 个数【默认是 10 个】,shard_size 参数规定了每个分片上返回的个数【默认是 size * 1.5 + 10】,如果 shard_size 小于 size,那么分片也会按照 size 指定的个数计算。

聚合的字段可能存在一些频率很低的词条,如果这些词条数目比例很大,那么就会造成很多不必要的计算。因此可以通过设置 min_doc_count 和 shard_min_doc_count 来规定最小的文档数目,只有满足这个参数要求的个数的词条才会被记录返回。min_doc_count:规定了最终结果的筛选,shard_min_doc_count:规定了分片中计算返回时的筛选。

1
2
3
4
5
6
7
8
9
10
11
"aggs": {
  "aggs_sentiment":{
    "terms": {
      "field": "sentiment",
      "size": 10,
      "shard_size": 30,
      "min_doc_count": 10000,
      "shard_min_doc_count": 50
    }
  }
}

更新文档

指定部分字段进行更新,不影响其它字段【但是要注意,如果字段只是索引 index 而没有存储 _source,更新后会无法查询这个字段】。

1
2
3
4
5
6
POST /my-index-user/user/0f42d65be1f5287e1c9c26e3728814aa/_update
{
   "doc" : {
      "friends" : ["98681482902","63639783663","59956667929"]
   }
}

自动缓存相关

terms lookup 查询:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
 自动缓存 
POST my-index-post/_search
{
  "query": {
    "terms": {
      "user_item_id":{
          "index": "my-index-user",
          "type": "user",
          "id": "0f42d65be1f5287e1c9c26e3728814aa",
          "path": "friends"
        }
      }
  }
}

操作缓存的接口:

1
2
 关闭缓存 
curl -XPOST 'localhost:9200/_cache/clear?filter_path=your_cache_key'

多层嵌套反转桶聚合

多层聚合查询,关于嵌套、反转,参考:nested-aggregation 。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
POST combine-paas-1003-index/2723-data/_search
{
    "aggs": {
        "x": {
            "aggs": {
                "xx": {
                    "aggs": {
                        "xxx": {
                            "aggs": {
                                "xxxx_interaction_cnt": {
                                    "sum": {
                                        "field": "2723_interaction_cnt"
                                    }
                                }
                            },
                            "reverse_nested": {}
                        }
                    },
                    "terms": {
                        "field": "Titan_sports.yundongerji",
                        "size": 100
                    }
                }
            },
            "nested": {
                "path": "Titan_sports"
            }
        }
    },
    "query": {
        "bool": {
            "must": [
                {
                    "term": {
                        "2723_is_noise": {
                            "value": " 否 & quot;
                        }
                    }
                }
            ]
        }
    },
    "size": 1
}

统计个数聚合

对于多篇文章,统计每个站点下面的作者个数:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
-- 多层嵌套以及特殊的聚合,每个 site_name 下面的作者个数统计 
{
    "aggs": {
        "s": {
            "aggs": {
                "a": {
                    "cardinality": {
                        "field": "author"
                    }
                }
            },
            "terms": {
                "field": "site_name",
                "size": 0
            }
        }
    },
    "query": {},
    "size": 0
}

存在查询

existsmissing 这两类查询在不同的版本之间使用方式不一致。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
-- 存在、不存在判断条件,1.7.5 版本和 2.3.4 版本的方式不一样 
-- 2.3.4:使用 exists、missing 关键字即可 
{
    "query": {
        "exists": {
            "field": "gender"
        }
    }
}

{
    "query": {
        "missing": {
            "field": "gender"
        }
    }
}
 
 
-- 更高版本【v5.x 以及以上】的 ES 关键字 missing 已经被废弃,改为 must_not 和 exists 组合查询,以下有示例 
{
    "query": {
        "bool": {
            "must_not": {
                "exists": {
                    "field": "user"
                }
            }
        }
    }
}
 
-- 1.7.5:使用 filter 后再使用对应关键词,本质是一种过滤器 
{
  "query": {
    "filtered": {
      "filter": {
        "exists": {
          "field": "data_type"
        }
      }
    }
  }
}

-- 此外,不同版本连接 ES 的 client 方式也不一样【tcp 连接,如果是 http 连接就不会有问题】,代码不能兼容,所以只能使用其中 1 种方式【在本博客中可以搜索到相关总结】

随机取数

随机取数【需要 ES 集群支持脚本请求】

1
2
3
4
5
6
7
8
9
10
11
12
13
14
GET your_index_name/_search
{
  "query": {
    "match_all": {}
  },
  "sort": {
    "_script": {
      "script": "Math.random ()",
      "type": "number",
      "order": "desc"
    }
  },
  "size": 20
}

如果 ES 集群不支持脚本请求,会抛出异常:illegal_argument_exception,原因:cannot execute [inline] scripts

删除数据

根据查询条件删除数据:

1
2
3
4
5
6
7
8
9
10
11
POST my-index-post/post/_delete_by_query/
{
  "query": {
    "terms": {
      "id": [
        "1",
        "2"
      ]
    }
  }
}

当然,如果是低版本的 Elasticsearch,在 1.x 的版本中还可以使用发送 DELETE 请求的方式删除数据,容易引发一些操作失误,不建议使用。

更多内容参考:Elasticsearch 根据查询条件删除数据的 API 。

索引关闭开启

主要有两个接口:

  • 开启索引,curl -XPOST http://localhost:9200/your_index/_open
  • 关闭索引,curl -XPOST http://localhost:9200/your_index/_close

参考这篇博客的部分内容:使用 http 接口删除 Elasticsearch 集群的索引 。

迁移数据

迁移一个索引的数据到另外一个索引,切记需要提前创建好索引,包含 mapping,避免字段类型出问题:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
POST _reindex
{
  "source": {
    "index": "my-index-post",
    "type": "post"
  },
  "dest": {
    "index": "my-index-post-bak",
    "type": "post"
  }
}

size 参数在最外层表示随机抽取 n 条测试;
size 参数在 source 里面表示 batch 大小,默认 1000;
 
 参数 wait_for_completion=false 可以让任务在后台一直运行到完成,否则当数据量大的时候,执行时间过长,会超时退出。

 查看任务状态,取消任务 

GET _tasks?detailed=true&actions=*reindex

POST _tasks/task_id:1/_cancel

POST _tasks/_cancel?nodes=nodexx&actions=*search*

此外,参考:Elasticsearch 的 Reindex API 详解 ,里面包含了常见的参数使用方式,以及查看迁移任务进度、取消迁移任务的方式。

移动分片

需要先关闭 rebalance,再手动移动分片,否则由于手动迁移分片造成集群进行分片的重新分配,进而消耗 IOCPU 资源。手动迁移分片完成之后,再打开 rebalance,让集群自行进行重新分配管理。

临时参数设置:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
 关闭 
curl -XPUT 'localhost:9200/_cluster/settings' -d
'{
  "transient": {
    "cluster.routing.allocation.enable": "none"
  }
}'

 打开 
curl -XPUT 'localhost:9200/_cluster/settings' -d
'{
  "transient": {
    "cluster.routing.allocation.enable": "all"
  }
}'

分片的迁移使用:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
move:移动分片 
cancel:取消分片 
allocate:重新分配分片 

curl -XPOST 'localhost:9200/_cluster/reroute' -d '{
    "commands" : [{
        "move" :
            {
              "index" : "test", "shard" : 0,
              "from_node" : "node1", "to_node" : "node2"
            }
        },
       "cancel" :
            {
              "index" : "test", "shard" : 0, "node" : "node1"
            }
        },
        {
          "allocate" : {
              "index" : "test", "shard" : 1, "node" : "node3"
          }
        }
    ]
}'

 将分配失败的分片重新分配 
curl -XGET 'localhost:9200/_cluster/reroute?retry_failed=true'

 用命令手动分配分片,接受丢数据(ES 集群升级前关闭了 your_index 索引,升级后,把副本数设置为 0,打开有 20 个分片无法分配,集群保持红色。关闭也无效,只好接受丢数据恢复空分片)。
{
  "commands": [
    {
      "allocate_empty_primary": {
        "index": "your_index",
        "shard": 17,
        "node": "nodexx",
        "accept_data_loss": true
      }
    }
  ]
}

注意,allocate 命令还有一个参数,"allow_primary" : true,即允许该分片做主分片,但是这样可能会造成数据丢失【在不断写入数据的时候】,因此要慎用【如果数据在分配过程中是静态的则可以考虑使用】。

当然,手动操作需要在熟悉集群的 API 使用的情况下,例如需要获取节点、索引、分片的信息,不然的话不知道参数怎么填写、分片怎么迁移。此时可以使用 HeadkopfCerebro 等可视化工具进行查看,比较适合运维人员,而且,分片的迁移指挥工作也可以交给这些工具,只要通过鼠标点击就可以完成分片的迁移,很方便。

验证

检验查询语句的合法性,不仅仅是满足 JSON 格式那么简单:

1
2
3
4
5
6
7
8
9
10
11
POST /my-index-post/_validate/query?explain
{
  "query": {
    "match": {
      "content":{
        "query": ",",
        "analyzer": "wordsEN"
      }
    }
  }
}

检查分片分配的相关信息:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
 不带任何参数执行该命令,会输出当前所有未分配分片的失败原因 
curl -XGET 'localhost:9200/_cluster/allocation/explain

 该命令可查看指定分片当前所在节点以及分配到该节点的理由,和未分配到其他节点的原因 
curl -XPOST 'localhost:9200/_cluster/reroute' -d '{
    "index": < 索引名 & gt;,
    "shard": < 分片号 & gt;,
    "primary": true/false
}'

 将分配失败的分片重新进行分配 
POST _cluster/reroute?retry_failed=true

 移动分片 
POST /_cluster/reroute/
{
  "commands": [
    {
      "move": {
        "index": "your_index_name",
        "shard": 0,
        "from_node": "dev5",
        "to_node": "dev6"
      }
    }
  ]
}

 用命令手动分配分片,接受丢数据【原因:ES 集群升级前关闭了某个索引,升级后,把副本数设置为 0,打开有 20 个分片无法分配,集群保持红色。关闭也无效,只好接受丢数据恢复空分片】。
{
  "commands": [
    {
      "allocate_empty_primary": {
        "index": "your_index_name",
        "shard": 17,
        "node": "node1",
        "accept_data_loss": true
      }
    }
  ]
}

你可能感兴趣的:(elasticsearch,http,大数据)