Elasticsearch 2.4.2 低延迟使用记录

阅读更多

 

 编写不易，转载请注明（ http://shihlei.iteye.com/blog/2423848 ）！

 

一 概述

（一直没有升级ES版本，这里只记录使用这一年多的一些优化结论）

 

Elasticsearch2.4.2  做索引库，提供低延迟的查询需求。

1. 业务规模：docuement 规模 90万，大概200M，不算大。
2. 查询特点：都是terms查询，没有聚合查询。客户端使用的是jest 基于http查询es。
3. 性能：3000qps 并不大，tp 999 暂未统计

二 架构

  （1）节点类型 

1.       master node：协调，存储元数据，负载和内存占用不高，但建议独立部署。
2.       data node：计算，数据存储，主要负载节点，cpu，内存都要消耗。建议选好点的机器，内存大点的机器，并且机器配置尽量一样，方便负载均衡。
3.       client node：请求转发，负载均衡节点，主要用于接入和分配查询合并。（我们的场景，没有合并查询，所以基本没有负载）

  （2）架构建议：数据量小，查询少可以混合使用。但建议独立部署。

1.       master node：3台，配置不用太高，但独立部署，重启维护方便。
2.       data node：n 台，cpu ，内存都好点，有建议ssd，视情况吧。
3.       client node：建议加入，统一入口，1~2台，cpu好点，有合并的话，内存大点。  

三 节点配置

  （1）查询队列：threadpool.search

 

      （a）master: 小集群数据量不大，添加修改频繁，基本不用改配置。

 

      （b）datanode：计算，由于tcp同clientnode 连接，我们使用的是 fixed 类型，队列大小需要慎重

threadpool.search.type: fixed
threadpool.search.size: 100            # (核数 * 3)/2 +1 如果cpu使用率没有到 70% 以上，建议调大，提高系统的吞吐量  
threadpool.search.queue_size: 1000    

     

（c）clinetnode：我们无合并结果需求，只提供接入和datanode负载均衡的能力。cpu内存消耗非常低，避免线程数成为系统瓶颈，所以选择cached类型。

# Cached threadpool
threadpool:  
	generic:  
		keep_alive: 200ms

 

  （2）开启交换分区锁定：

        bootstrap.mlockall: true

 

        我们索引才几百M，最好都内存计算和fetch，同时避免内存不够是es的换出，性能确实有所提高，慢查询减少到原来的1/3;

 

  （3）g1 gc :

      查询请求多的时候，观察系统日志，出现gc 的警告，时间大于1s，这个暂停太长，我们在data node 上更换了g1 gc

 

      要求: 需要高于JDK 8u40，版本，该版本之前改G1会造索引失效

 

      修改方法：bin/elasticsearch.in.sh

 

      调整为：

          # Add gc options. ES_GC_OPTS is unsupported, for internal testing

          if [ "x$ES_GC_OPTS" = "x" ]; then
          #  ES_GC_OPTS="$ES_GC_OPTS -XX:+UseParNewGC"
          #  ES_GC_OPTS="$ES_GC_OPTS -XX:+UseConcMarkSweepGC"
          #  ES_GC_OPTS="$ES_GC_OPTS -XX:CMSInitiatingOccupancyFraction=75"
          #  ES_GC_OPTS="$ES_GC_OPTS -XX:+UseCMSInitiatingOccupancyOnly"

 
          ES_GC_OPTS="$ES_GC_OPTS -XX:+UseG1GC"
          ES_GC_OPTS="$ES_GC_OPTS -XX:MaxGCPauseMillis=200"

          fi

 

  （4）discover

      discovery.zen.ping.unicast.hosts: 建议配置master ip，master单独部署，不常重启影响。

 

四 索引库配置

    1）shard 数据量在100万左右（多了没测），没有聚合的场景，单shard比多shard效果好。

    2）preference查询参数可以将查询打在一个分配上，用于利用查询缓存，方便相似查询提升效率。

 

    其他：

     rountintKey：由于curd都需要携带，需要结合业务考虑是否适合使用。

 

其他：

  （1）Jest：集群发现代码：

      .discoveryEnabled(true)

      .discoveryFrequency(10l, TimeUnit.SECONDS)  // 需要设置好时间，es维护会影响这里的处理

      .discoveryFilter("type:arbitrary")

 

   public static JestClient jestClient() {
        JestClientFactory factory = new JestClientFactory();
        factory.setHttpClientConfig(
                new HttpClientConfig
                        .Builder(Arrays.asList("http://localhost:9200"))
                        .multiThreaded(true)
                        //一个route 默认不超过2个连接  路由是指连接到某个远程注解的个数。总连接数=route个数 * defaultMaxTotalConnectionPerRoute
                        .defaultMaxTotalConnectionPerRoute(10)
                        // 默认总连接数不超过20， 我们没有并发问题
                        .maxTotalConnection(30)
                        .connTimeout(10000)
                        .readTimeout(10000)
                        //客户端发现
                        .discoveryEnabled(true)
                        .discoveryFrequency(10l, TimeUnit.SECONDS)
                        .discoveryFilter("type:arbitrary")
                        .build()
        );
        return factory.getObject();
    }