ElasticSearch 10000条查询数量限制

一、前言

我们将库存快照数据导入ES后发现要分页查询10000条以后的记录会报错,这是因为ES通过index.max_result_window这个参数控制能够获取数据总数from+size最大值,默认限制是10000条,因为ES考虑到数据要从其它节点上报到协调节点如果搜索请求的数据越多,会导致ES协调节点占用的堆内存和搜索排序时间越大,但是我们又有这样的需求,虽然页面展示不需要翻到10000条记录后,但在导出XLS是需要将20万条数据一次性导出,本文介绍如何实现。

二、问题重现

1、创建映射

ElasticSearch 10000条查询数量限制_第1张图片

2、构造5万条数据导入ES

搭建SpringBoot工程使用ES官方Client构造测试数据(注:ES的Client实在是太乱了,N套SDK然后不同版本差别又很大,真是折腾)。

配置依赖包

ElasticSearch 10000条查询数量限制_第2张图片

创建客户端连接

ElasticSearch 10000条查询数量限制_第3张图片

注:因为ES的连接其实走HTTP的,但是采用的是持久连接还是多路复用HTTP2是由SDK底层实现(待研究),自己应该是不用管理连接池。

批量写入数据

ElasticSearch 10000条查询数量限制_第4张图片

注:使用fluent DSL批量导入5万条数据,20秒就完成导入,一般批量写入每次1000~5000条记录,数据量大小在5M~15M之间效率会比较高。

3、查询

get /store_stock/_search

注:返回文档数量为10000,而不是50000

分页查询10000后的10条记录

ElasticSearch 10000条查询数量限制_第5张图片

报错信息如下,告诉你只能查10000条数据.

ElasticSearch 10000条查询数量限制_第6张图片

用ESClient查询

ElasticSearch 10000条查询数量限制_第7张图片

同样会报错如下

三、解决方案

1、调大index.max_result_window

ElasticSearch 10000条查询数量限制_第8张图片

然后再次查询

返回结果如下:发现已经可以查出10001~10010这些数据,但返回的总数total值还是10000.使用ESClient也同样能够查出数据。但这种方式特别占用内存.

ElasticSearch 10000条查询数量限制_第9张图片

2、ES深度分页

深度分页原理如下图所示,图片来源于网络。

ElasticSearch 10000条查询数量限制_第10张图片

注:因为写入分片的数据是无序的,但你分页查询结果是要排序的,这个时候在每个每片要查出的数量都是你需要查出的数据总数,然后所有分片整合在一起进行排序,再取出你所需要的数量。

这里产生二次排序,如果查询的数据越靠后,越容易造成OOM,这也是ES为了避免产生频繁FGC,默认设置max_result_window的值为10000的原因。

另外像Google、Baidu等分页查询在产品功能上都做成不能跳到某一页来做限制。它们分页的组件如下,从产品层面避免了深度分页。

3、滚动查询

但我们在导出或者做数据分析时总是需要查询10000条以后的数据,那怎么办,这里可以使用滚动查询 Scroll(类似于数据库的游标)。

使用方法

1、首次查询加上scroll参数,5m表示返回的scrollId 在5分钟内有效

返回的数据:查询出了10000条数据,total的数量显示50000,并且返回了一个_scroll_id

ElasticSearch 10000条查询数量限制_第11张图片

然后用scroll_id往后查

返回结果:可以继续往后查

ElasticSearch 10000条查询数量限制_第12张图片

ESClient代码如下

ElasticSearch 10000条查询数量限制_第13张图片

4、Scroll查询原理

ES搜索分两个阶段:Query阶段和Fetch阶段

Query阶段:比较轻量级,通过查询倒排索引获取满足查询结果的文档ID列表。

Fetch阶段:需要将每个shard的结果取回,在协调结点进行全局排序。

Scroll查询,先做轻量级的Query阶段以后,免去了繁重的全局排序过程。它只是将查询结果集,也就是doc id列表保留在一个上下文里, 之后每次分批取回的时候,只需根据设置的size,在每个shard内部按照一定顺序(默认doc_id续), 取回这个size数量的文档即可。(注:没搞懂,需要再深入分析一下)。

你可能感兴趣的:(存储,elasticsearch,大数据,搜索引擎)