记一次java内存存异常排查过程

一、现象
java服务内存异常，占用服务器内存过高
二、排查步骤
1、首先看堆内存是否正常
下载arthas，dashborad一看，发现新生代只有300M，而老年代有6000M，很明显有内存泄漏，导致无法回收，存活到了老年代
2、然后看看gc日志，由于服务器一直开着gc，很容易找到gc日志，利用gceasy.io快速看一下gc日志情况，惊奇的发现，新生代，老年代gc回收一切正常，而且fullgc不频繁，老年代正常回收，那为什么老年代那个大呢？
3、目前开来堆正常，但是内存一直变大，于是目光转向堆外内存，于是利用arthas的观察一下堆外内存，但是发现directmemory和mappedmemory都正常，也不是堆外内存泄漏
4、基本可以确认堆内没，目光还是放在堆外，后来发现了jcmd工具，但是需要重启服务，不敢乱用，但是发现了jcmd输出还有一个这个
Thread (reserved=159383KB, committed=159383KB)

                        (thread #156)
                        (stack: reserved=158720KB, committed=158720KB)
                        (malloc=482KB #788) 
                        (arena=182KB #310)

突然想到服务线程状况还没看，用arthas一看，天，17000个线程
5、那基本可以确定是线程创建过多导致，查看大量的线程名字是pool-15000-thread-1，于是日志找一下就发现了这个线程是做什么的，发现了这样的代码

public JSONObject aaa(List Ids) throws Exception{
    ExecutorService executorService = Executors.newFixedThreadPool(5);
    List> futureList=new ArrayList<>();
    JSONObject resultJson=new JSONObject();
    for (Long Id:Ids) {
        futureList.add(
            executorService.submit(new Callable() {
                @Override
                public JSONArray call() throws Exception {
                    return bbb(Id);
                }
            })
        );
    }
    for (int i=0;i future=futureList.get(i);
        resultJson.put(Ids.get(i).toString(),future.get());
    }
    return resultJson;
}

这是一个处理就新建了线程池，会导致创建大量的线程无法回收
三、反思
应该利用公共的线程池，而不是用的时候就创建！！！