阅读更多
Elasticsearch Sliced Scroll分页检索案例分享
我们在文章《 Elasticsearch Scroll分页检索案例分享》中介绍了elasticsearch scroll的基本用法，本文介绍Elasticsearch Sliced Scroll分页检索功能。
1.准备工作
参考文档《 高性能elasticsearch ORM开发库使用介绍》导入和配置es客户端
2.定义Sliced Scroll检索dsl
创建配置文件-在resources目录下定义文件scroll.xml
esmapper/scroll.xml
文件内容包含Sliced Scroll检索dsl语句-scrollSliceQuery
3.串行方式执行slice检索
/**
* 串行方式执行slice scroll操作
*/
@Test
public void testSliceScroll() {
ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/scroll.xml");
List scrollIds = new ArrayList<>();
long starttime = System.currentTimeMillis();
//scroll slice分页检索
int max = 6;
long realTotalSize = 0;
for (int i = 0; i < max; i++) {
Map params = new HashMap();
params.put("id", i);
params.put("max", max);//最多6个slice，不能大于share数
params.put("size", 100);//每页100条记录
ESDatas
4.并行方式执行slice检索
//用来存放实际slice检索总记录数
long realTotalSize ;
//辅助方法，用来累计每次scroll获取到的记录数
synchronized void incrementSize(int size){
this.realTotalSize = this.realTotalSize + size;
}
/**
* 并行方式执行slice scroll操作
*/
@Test
public void testParralSliceScroll() {
final ClientInterface clientUtil = ElasticSearchHelper.getConfigRestClientUtil("esmapper/scroll.xml");
final List scrollIds = new ArrayList<>();
long starttime = System.currentTimeMillis();
//scroll slice分页检索
final int max = 6;
final CountDownLatch countDownLatch = new CountDownLatch(max);//线程任务完成计数器，每个线程对应一个sclice,每运行完一个slice任务,countDownLatch计数减去1
for (int j = 0; j < max; j++) {//启动max个线程，并行处理每个slice任务
final int i = j;
Thread sliceThread = new Thread(new Runnable() {//多线程并行执行scroll操作做，每个线程对应一个sclice
@Override
public void run() {
Map params = new HashMap();
params.put("id", i);
params.put("max", max);//最多6个slice，不能大于share数
params.put("size", 100);//每页100条记录
ESDatas
通过串行运行和并行运行结果比较，并行处理的性能要好很多，实际检索到的文档数量等价一致。
5.参考文档
https://www.elastic.co/guide/en/elasticsearch/reference/6.2/search-request-scroll.html
6.开发交流
elasticsearch技术交流群：166471282
elasticsearch微信公众号：
