java web 线程数_JavaWeb应用调优线程池：没你想的那么复杂
“ 不论你是否关注，Java Web应用都或多或少的使用了线程池来处理请求。线程池的实现细节可能会被忽视，但是有关于线程池的使用和调优迟早是需要了解的。本文由浅入深，介绍了Java线程池的使用，以及正确配置线程池的方法。所谓老司机带路，带你轻松上道。最简单的单线程
我们先从基础开始。无论使用哪种应用服务器或者框架(如Tomcat、Jetty等)，他们都有类似的基础实现。Web服务的基础是套接字(socket)，套接字负责监听端口，等待TCP连接，并接受TCP连接。一旦TCP连接被接受，即可从新创建的TCP连接中读取和发送数据。
为了能够理解上述流程，我们不直接使用任何应用服务器，而是从零开始构建一个简单的Web服务。该服务是大部分应用服务器的缩影。一个简单的单线程Web服务大概是这样的：
ServerSocket listener = new ServerSocket(8080);
try {
while (true) {
Socket socket = listener.accept();
try {
handleRequest(socket);
} catch (IOException e) {
e.printStackTrace();
}
}
} finally {
listener.close();
}
上述代码创建了一个服务端套接字(ServerSocket)，监听8080端口，然后循环检查这个套接字，查看是否有新的连接。一旦有新的连接被接受，这个套接字会被传入handleRequest方法。这个方法会将数据流解析成HTTP请求，进行响应，并写入响应数据。在这个简单的示例中，handleRequest方法仅仅实现数据流的读入，返回一个简单的响应数据。在通常实现中，该方法还会复杂的多，比如从数据库读取数据等。
final static String response =
“HTTP/1.0 200 OK\r\n”
“Content-type: text/plain\r\n”
“\r\n”
“Hello World\r\n”;
public static void handleRequest(Socket socket) throws IOException {
// Read the input stream, and return “200 OK”
try {
BufferedReader in = new BufferedReader(
new InputStreamReader(socket.getInputStream()));
log.info(in.readLine());
OutputStream out = socket.getOutputStream();
out.write(response.getBytes(StandardCharsets.UTF_8));
} finally {
socket.close();
}
}
由于只有一个线程来处理请求，每个请求都必须等待前一个请求处理完成之后才能够被响应。假设一个请求响应时间为100毫秒，那么这个服务器的每秒响应数(tps)只有10。
更进一步，多线程提升
虽然handleRequest方法可能阻塞在IO上，但是CPU仍然可以处理更多的请求。但是在单线程情况下，这是无法做到的。因此，可以通过创建多线程的方式，来提升服务器的并行处理能力。
public static class HandleRequestRunnable implements Runnable {
final Socket socket;
public HandleRequestRunnable(Socket socket) {
this.socket = socket;
}
public void run() {
try {
handleRequest(socket);
} catch (IOException e) {
e.printStackTrace();
}
}
}
ServerSocket listener = new ServerSocket(8080);
try {
while (true) {
Socket socket = listener.accept();
new Thread(new HandleRequestRunnable(socket)).start();
}
} finally {
listener.close();
}
这里，accept()方法仍然在主线程中调用，但是一旦TCP连接建立之后，将会创建一个新的线程来处理新的请求，既在新的线程中执行前文中的handleRequest方法。
通过创建新的线程，主线程可以继续接受新的TCP连接，且这些信求可以并行的处理。这个方式称为“每个请求一个线程(thread per request)”。当然，还有其他方式来提高处理性能，例如NGINX和Node.js使用的异步事件驱动模型，但是它们不使用线程池，因此不在本文的讨论范围。
在每个请求一个线程实现中，创建一个线程(和后续的销毁)开销是非常昂贵的，因为JVM和操作系统都需要分配资源。另外，上面的实现还有一个问题，即创建的线程数是不可控的，这将可能导致系统资源被迅速耗尽。
ERROR！资源耗尽
每个线程都需要一定的栈内存空间。在最近的64位JVM中，默认的栈大小是1024KB。如果服务器收到大量请求，或者handleRequest方法执行很慢，服务器可能因为创建了大量线程而崩溃。例如有1000个并行的请求，创建出来的1000个线程需要使用1GB的JVM内存作为线程栈空间。另外，每个线程代码执行过程中创建的对象，还可能会在堆上创建对象。这样的情况恶化下去，将会超出JVM堆内存，并产生大量的垃圾回收操作，最终引发内存溢出(OutOfMemoryErrors)。
这些线程不仅仅会消耗内存，它们还会使用其他有限的资源，例如文件句柄、数据库连接等。不可控的创建线程，还可能引发其他类型的错误和崩溃。因此，避免资源耗尽的一个重要方式，就是避免不可控的数据结构。
顺便说下，由于线程栈大小引发的内存问题，可以通过-Xss开关来调整栈大小。缩小线程栈大小之后，可以减少每个线程的开销，但是可能会引发栈溢出(StackOverflowErrors)。对于一般应用程序而言，默认的1024KB过于富裕，调小为256KB或者512KB可能更为合适。Java允许的最小值是160KB。
解决方案：线程池
为了避免持续创建新线程，可以通过使用简单的线程池来限定线程池的上限。线程池会管理所有线程，如果线程数还没有达到上限，线程池会创建线程到上限，且尽可能复用空闲的线程。
ServerSocket listener = new ServerSocket(8080);
ExecutorService executor = Executors.newFixedThreadPool(4);
try {
while (true) {
Socket socket = listener.accept();
executor.submit( new HandleRequestRunnable(socket) );
}
} finally {
listener.close();
}
在这个示例中，没有直接创建线程，而是使用了ExecutorService。它将需要执行的任务(需要实现Runnables接口)提交到线程池，使用线程池中的线程执行代码。示例中，使用线程数量为4的固定大小线程池来处理所有请求。这限制了处理请求的线程数量，也限制了资源的使用。
除了通过newFixedThreadPool方法创建固定大小线程池，Executors类还提供了newCachedThreadPool方法。复用线程池还是有可能导致不可控的线程数，但是它会尽可能使用之前已经创建的空闲线程。通常该类型线程池适合使用在不会被外部资源阻塞的短任务上。
策略：工作队列
使用了固定大小线程池之后，如果所有的线程都繁忙，再新来一个请求将会发生什么呢？ThreadPoolExecutor使用一个队列来保存等待处理的请求，固定大小线程池默认使用无限制的链表。注意，这又可能引起资源耗尽问题，但只要线程处理的速度大于队列增长的速度就不会发生。然后前面示例中，每个排队的请求都会持有套接字，在一些操作系统中，这将会消耗文件句柄。由于操作系统会限制进程打开的文件句柄数，因此最好限制下工作队列的大小。
public static ExecutorService newBoundedFixedThreadPool(int nThreads, int capacity) {
return new ThreadPoolExecutor(nThreads, nThreads,
0L, TimeUnit.MILLISECONDS,
new LinkedBlockingQueue
Tag标签: