ElasticSearch 1.7.2 升级到 2.X 的流程

ElasticSearch 1.7.2 升级到 2.X 的流程

之前在做Elasticsearch 1.4.4 到 1.7.2 升级的过程中, 直接替换ES程序即可, 升级很平滑.但是这次从1.7.2版本升级到2.1.0版本就不那么顺利了. 下面会记录升级整个过程中碰到的问题.

升级步骤

ES集群升级

这次升级官方给出了很多Breaking changes, 但是我们可以借助ES一个插件来帮助我们分析, 现有ES集群需要做出哪些改动才可以顺利升级到2.X版本.

• 插件安装: ./bin/plugin -i elastic/elasticsearch-migration
  查看原集群中哪些配置和2.x版本冲突, 我们这里碰到的问题是, 在mapping配置里面, 如果是同一个索引模板中,不同的type,里面如果字段名字有一样的, 但是字段模块不一致的需要修改, 即使名字一样,有的设置了分词, 有的设置了不分词也是不可以的. 2.x版本的索引压缩有很大改进.

• 下载最新版本

• 将原版下的 $ES_HOME/config 下的文件全部copy到新版本中

• 将$ES_HOME/bin/elasticsearch.in.sh elasticsearch 两个文件copy到新版本中相应的路径中, 然后修改该文件中elasticsearch.x.x.jar为新版本的jar

• 将 $ES_HOME/plugins 文件夹copy到新版 $ES_HOME目录下

• 针对IK分词, 需要安装最新版本

  • 获取最新版本并编译, copy到新版$ES_HOME/plugins/ik下

    git clone https://github.com/medcl/elasticsearch-analysis-ik
    cd elasticsearch-analysis-ik
    mvn clean
    mvn compile
    mvn package
    copy & unzip file  #{project_path}/elasticsearch-analysis-ik/target/releases/elasticsearch-analysis-ik-xxx.zip to your elasticsearch's folder: plugins/ik
    

  • 将ik项目的config/ik中的内容copy到your-es-root/config/ik中

• 更新 head 插件
  ./bin/plugin install mobz/elasticsearch-head

• 安装sql插件
  ./bin/plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/2.1.0/elasticsearch-sql-2.1.0.zip
  如果碰见版本不一致的,需要修改插件内部的plugin配置文件, 将其中es版本修改为匹配的.
  安装该插件后必须要重启

• 安装kopf插件
  './elasticsearch/bin/plugin install lmenezes/elasticsearch-kopf/{branch|version}'

• elasticsearch.yml 配置文件中的改动

  • 去除 index.analysis.analyzer.default.type : "ik"
  • 添加主机host network.host: 192.168.10.235

  如果配置中有配置自动发现的,注释掉, 并改为单播模式

  #ping 其它节点的超时时间
  #discovery.zen.ping_timeout: 30s
  #要选出可用master, 最少需要几个master节点
  #discovery.zen.minimum_master_nodes: 2
  discovery.zen.ping.unicast.hosts: "192.168.10.235:9309,192.168.10.236:9309,192.168.10.237:9309"
  

• 将$ES_HOME/bin/elasticsearch.in.sh 文件中添加如下内容

   ES_HEAP_SIZE=8g
   ES_GC_LOG_FILE="/eagleye/data/esdata/logs/esgc.log"
  

  如果使用的是jdk1.8将如下需要做如下改动

   # Add gc options. ES_GC_OPTS is unsupported, for internal testing
    if [ "x$ES_GC_OPTS" = "x" ]; then
    #  ES_GC_OPTS="$ES_GC_OPTS -XX:+UseParNewGC"
    #  ES_GC_OPTS="$ES_GC_OPTS -XX:+UseConcMarkSweepGC"
    #  ES_GC_OPTS="$ES_GC_OPTS -XX:CMSInitiatingOccupancyFraction=75"
    #  ES_GC_OPTS="$ES_GC_OPTS -XX:+UseCMSInitiatingOccupancyOnly"
      ES_GC_OPTS="$ES_GC_OPTS -XX:+UseG1GC"
    fi
  

• 复制原集群的索引元数据到新集群中(重要)
  元数据在master节点的data目录下, 将该目录下的所有元数据copy到新版本集群中相应位置即可

• 2.1.1版本已经将config目录下的index template移除, 如果是新建索引在原先config/template下的索引模板将不起作用, 如果需要给某个索引配置模板可以参考官方文档

• 关闭自动分片

  curl -XPUT http://192.168.1.2:9200/_cluster/settings -d 
  '{ 
      "transient" : { 
          "cluster.routing.allocation.enable" : "none" 
      } 
  }'
  

• 同步flush操作
  如果不允许任何丢失, 需要执行该操作, 如果可以容忍在短时间内的数据丢失, 可以忽略这一步骤

  
  curl -XPOST http://192.168.1.2:9200/_flush/synced
  

• 需要同时停止所有集群的es服务, 然后挨个重启

  curl -XPOST http://192.168.1.3:9200/_cluster/nodes/_local/_shutdown
  

ES的客户端升级

这里主要描述java客户端的改动.

• pom中的es引用变更为

  
     org.elasticsearch
     elasticsearch
     2.1.1
  
  

  注意: 该版本依赖google的guava-18.0版本, 我们项目中依赖的guava-15.0导致,spring启动NoSuchClass异常, 需要同时升级guava版本

• 创建客户端的改动,下面是具体变更之后的内容,官方文档可以看这具体看这里

  • ESClient变更

     public ESClient(String clusterName, String esNodes) {
        //Settings settings = ImmutableSettings.settingsBuilder()
        Settings settings = Settings.builder()
                .put("cluster.name", clusterName)
                .put("client.transport.sniff", false)
                .build();
        this.client = TransportClient.builder().settings(settings).build();//new TransportClient(settings);
        String[] esNodeList = esNodes.split(",");
        for (String serv : esNodeList) {
            String[] node = serv.split(":");
            if (node.length == 2) {
        //this.client.addTransportAddress(new InetSocketTransportAddress(node[0], Integer.valueOf(node[1])));
                this.client.addTransportAddress(new InetSocketTransportAddress(new InetSocketAddress(node[0], Integer.valueOf(node[1]))));
            }
        }
    }
    
    

  • 依赖的jackson版本需要跟着变更

    2.6.2
    

  • 查询代码需要将所有Filter变更为Query

  • 2.1.1版本中tribe节点无法加入集群中,具体看Github上针对这个问题的issue