Elasticsearch:遇到SocketTimeoutException异常的处理方式

一、问题描述：

  数据同步服务在写入Elasticsearch索引时，偶发异常。

二、异常信息：

java.net.SocketTimeoutException: 30,000 milliseconds timeout on connection http-outgoing-746 [ACTIVE]

三、可能原因：

客户端与用于 tcp 保持活动的弹性服务器内核配置之间的防火墙配置不匹配。

防火墙在 3600 秒后丢弃空闲连接。问题是 tcp keep alive 的内核参数设置为 7200 秒（RedHat 6.x/7.x 中的默认值）：sysctl -n net.ipv4.tcp_keepalive_time 7200 因此，在发送保持活动探测之前断开连接。弹性 http 客户端中的 asyncHttpClient 似乎不能很好地处理断开的连接，它只是等到套接字超时。 因此，请检查您的客户端和服务器之间是否有任何网络设备（负载均衡器、防火墙、代理等）存在会话超时或类似情况，并增加该超时或降低 tcp_keep_alive 内核参数。

四、解决方案：

1.新增配置，设置连接超时时间。

# 链接超时时间，单位：毫秒 
spring.elasticsearch.rest.connection-timeout=30000 
# 读超时时间，单位：毫秒 
spring.elasticsearch.rest.read-timeout=30000

2.增加客户端启动脚本中分配的内存。

#!/bin//bash

source /etc/profile

#ps -ef |grep spring.profiles.active|grep -v grep |awk '{print $2}'|xargs kill -9

cd /opt/app/resource_sync

nohup java -Xms512m -Xms512m -jar car-sync-1.0.0-SNAPSHOT.jar --server.port=8839 --spring.profiles.active=prod >> /opt/app/resource_sync/logs/car-sync/car-sync.log &

3.设置不自动刷新落盘

// 设置更新完成后不刷新索引 减少磁盘消耗 但实时性降低 
updateByQueryRequest.setRefresh(false);

4.设置keep alive策略 (选1不选4)

package com.resource.sync.config;

import org.apache.http.HttpResponse;
import org.apache.http.impl.client.DefaultConnectionKeepAliveStrategy;
import org.apache.http.protocol.HttpContext;
import org.elasticsearch.client.RestClientBuilder;
import org.springframework.boot.autoconfigure.elasticsearch.RestClientBuilderCustomizer;
import org.springframework.context.annotation.Configuration;

import java.util.concurrent.TimeUnit;

/**
 * @description:
 * @author: XinTong.Wang
 * @create: 2022-07-22 17:02
 **/
@Configuration
public class MyRestClientBuilderCustomizer implements RestClientBuilderCustomizer {

    @Override
    public void customize(RestClientBuilder builder) {
        // keep alive策略
        builder.setHttpClientConfigCallback(httpClientBuilder -> httpClientBuilder.setKeepAliveStrategy(CustomConnectionKeepAliveStrategy.INSTANCE));
    }

    public static class CustomConnectionKeepAliveStrategy extends DefaultConnectionKeepAliveStrategy {

        public static final CustomConnectionKeepAliveStrategy INSTANCE = new CustomConnectionKeepAliveStrategy();

        private CustomConnectionKeepAliveStrategy() {
            super();
        }

        /**
         * 最大keep alive的时间（分钟）
         * 这里默认为10分钟，可以根据实际情况设置。可以观察客户端机器状态为TIME_WAIT的TCP连接数，如果太多，可以增大此值。
         */
        private final long MAX_KEEP_ALIVE_MINUTES = 10;

        @Override
        public long getKeepAliveDuration(HttpResponse response, HttpContext context) {
            long keepAliveDuration = super.getKeepAliveDuration(response, context);
            // <0 为无限期keepalive
            // 将无限期替换成一个默认的时间
            if (keepAliveDuration < 0) {
                return TimeUnit.MINUTES.toMillis(MAX_KEEP_ALIVE_MINUTES);
            }
            return keepAliveDuration;
        }
    }

}