HttpClient 与 Close_Wait

服务器A需要通过HttpClient去连接另一个系统B提供的服务，运行一段时间后抛出以下异常：

java.net.SocketException: Connection reset by peer: socket write error close_wait

 

在服务器B上运行netstat命令，发现大量连接处于CLOSE_WAIT 状态。

问题分析：

简单来说CLOSE_WAIT数目过大是由于被动关闭连接处理不当导致的。

我说一个场景，服务器A会去请求服务器B上面的apache获取文件资源，正常情况下，如果请求成功，那么在抓取完资源后服务器A会主动发出关闭连接的请求，这个时候就是主动关闭连接，连接状态我们可以看到是TIME_WAIT。如果一旦发生异常呢？假设请求的资源服务器B上并不存在，那么这个时候就会由服务器B发出关闭连接的请求，服务器A就是被动的关闭了连接，如果服务器A被动关闭连接之后自己并没有释放连接，那就会造成CLOSE_WAIT的状态了。

 

所以很明显，问题还是处在程序里头。

 

原始代码块：

try
        {
            client = HttpConnectionManager.getHttpClient();
            HttpGet get = new HttpGet();
            get.setURI(new URI(urlPath));
            HttpResponse response = client.execute(get);
            if (response.getStatusLine ().getStatusCode () != 200) {
                return null;
            }
            HttpEntity entity =response.getEntity();

            if( entity != null ){
                in = entity.getContent();
                .....
            }
            return sb.toString ();

        }
        catch (Exception e)
        {
            e.printStackTrace ();
            return null;
        }
        finally
        {
            if (isr != null){
                try
                {
                    isr.close ();
                }
                catch (IOException e)
                {
                    e.printStackTrace ();
                }
            }
            if (in != null){
                try
                {
                    <span style="color:#ff0000;">in.close ();</span>
                }
                catch (IOException e)
                {
                    e.printStackTrace ();
                }
            }
        }

HttpClient使用我们常用的InputStream.close()来确认连接关闭，分析上面的代码，一旦出现非200的连接，这个连接将永远僵死在连接池里头，因为inputStream得不到初始化，永远不会调用close()方法了。

 

通过代码稍微修改，更严谨的处理异常情况就可以解决问题了：

public static String readNet (String urlPath)
    {
        StringBuffer sb = new StringBuffer ();
        HttpClient client = null;
        InputStream in = null;
        InputStreamReader isr = null;
        HttpGet get = new HttpGet();
        try
        {
            client = HttpConnectionManager.getHttpClient();
            get.setURI(new URI(urlPath));
            HttpResponse response = client.execute(get);
            if (response.getStatusLine ().getStatusCode () != 200) {
                get.abort();
                return null;
            }
            HttpEntity entity =response.getEntity();

            if( entity != null ){
                in = entity.getContent();
                ......
            }
            return sb.toString ();

        }
        catch (Exception e)
        {
            get.abort();
            e.printStackTrace ();
            return null;
        }
        finally
        {
            if (isr != null){
                try
                {
                    isr.close ();
                }
                catch (IOException e)
                {
                    e.printStackTrace ();
                }
            }
            if (in != null){
                try
                {
                    in.close ();
                }
                catch (IOException e)
                {
                    e.printStackTrace ();
                }
            }
        }
    }

 

 

 

显示调用HttpGet的abort，这样就会直接中止这次连接，我们在遇到异常的时候应该显示调用，因为谁能保证异常是在InputStream in赋值之后才抛出的呢。

 

 

more:

首先我们知道，如果我们的服务器程序处于CLOSE_WAIT状态的话，说明套接字是被动关闭的！
因为如果是CLIENT端主动断掉当前连接的话，那么双方关闭这个TCP连接共需要四个packet：

Client –-> FIN  –-> Server
Client <–- ACK  <–- Server
这时候Client端处于FIN_WAIT_2状态；而Server 程序处于CLOSE_WAIT状态。
Client <–- FIN  <–- Server
这时Server 发送FIN给Client，Server 就置为LAST_ACK状态。
Client –-> ACK  –-> Server
Client回应了ACK，那么Server 的套接字才会真正置为CLOSED状态。

Server 程序处于CLOSE_WAIT状态，而不是LAST_ACK状态，说明还没有发FIN给Client，那么可能是在关闭连接之前还有许多数据要发送或者其他事要做，导致没有发这个FIN packet。
通常来说，一个CLOSE_WAIT会维持至少2个小时的时间（这个时间外网服务器通常会做调整，要不然太危险了）。如果有个流氓特地写了个程序，给你造成一堆的CLOSE_WAIT，消耗
你的资源，那么通常是等不到释放那一刻，系统就已经解决崩溃了。
只能通过修改一下TCP/IP的参数，来缩短这个时间：修改tcp_keepalive_*系列参数有助于解决这个问题。
但是实际上，还是主要是因为我们的程序代码有问题，

 

more:

最近做httpclient做转发服务，发现服务器上总是有很多close_wait状态的连接，而且这些连接都不会关闭，最后导致服务器没法建立新的网络连接，从而停止响应。 
        后来在网上搜索了一下，发现解决的方法也很简单，如果想重用连接，那就使用连接管理器，从连接管理器里获取连接，然后定时的用连接管理器来释放空闲连接。httpclient自带了SimpleHttpConnectionManager，提供了

closeIdleConnections(long idleTimeout)

这样的方法。 
        如果不需要重用链接，则直接在httpmethod创建时，设置一个http头信息就可以了 

httpmethod.setRequestHeader("Connection", "close");

这样就不会有恼人的close_wait了。

 

more:

http://blog.sina.com.cn/s/blog_4c2edbc70100o713.html