Java学习day095 并发（五）阻塞队列

使用的教材是java核心技术卷1，我将跟着这本书的章节同时配合视频资源来进行学习基础java知识。

day095   并发（五）阻塞队列

---

现在，读者已经看到了形成Java并发程序设计基础的底层构建块。然而，对于实际编程来说，应该尽可能远离底层结构。使用由并发处理的专业人士实现的较高层次的结构要方便得多、要安全得多。

对于许多线程问题，可以通过使用一个或多个队列以优雅且安全的方式将其形式化。生产者线程向队列插人元素，消费者线程则取出它们。使用队列，可以安全地从一个线程向另一个线程传递数据。例如，考虑银行转账程序，转账线程将转账指令对象插入一个队列中，而不是直接访问银行对象。另一个线程从队列中取出指令执行转账。只有该线程可以访问该银行对象的内部。因此不需要同步。（当然，线程安全的队列类的实现者不能不考虑锁和条件，但是，那是他们的问题而不是你的问题。）

当试图向队列添加元素而队列已满，或是想从队列移出元素而队列为空的时候，阻塞队列（blockingqueue)导致线程阻塞。在协调多个线程之间的合作时，阻塞队列是一个有用的工具。工作者线程可以周期性地将中间结果存储在阻塞队列中。其他的工作者线程移出中间结果并进一步加以修改。队列会自动地平衡负载。如果第一个线程集运行得比第二个慢，第二个线程集在等待结果时会阻塞。如果第一个线程集运行得快，它将等待第二个队列集赶上来。

阻塞队列方法分为以下3类，这取决于当队列满或空时它们的响应方式。如果将队列当作线程管理工具来使用，将要用到put和take方法。当试图向满的队列中添加或从空的队列中移出元素时，add、remove和element操作抛出异常。当然，在一个多线程程序中，队列会在任何时候空或满，因此，一定要使用offer、poll和peek方法作为替代。这些方法如果不能完成任务，只是给出一个错误提示而不会抛出异常。

还有带有超时的offer方法和poll方法的变体。例如，下面的调用：

boolean success=q.offer(x,100,TimeUnit.MILLISECONDS);

尝试在100毫秒的时间内在队列的尾部插人一个元素。如果成功返回true;否则，达到超时时，返回false。类似地，下面的调用：

Object head=q.poll(100,TimeUnit.MILLISECONDS)

尝试用100毫秒的时间移除队列的头元素；如果成功返回头元素，否则，达到在超时时，返回null。如果队列满，则put方法阻塞；如果队列空，则take方法阻塞。在不带超时参数时，offer和poll方法等效。

java.util.concurrent包提供了阻塞队列的几个变种。默认情况下，LinkedBlockingQueue的容量是没有上边界的，但是，也可以选择指定最大容量。LinkedBlockingDeque是一个双端的版本。ArrayBlockingQueue在构造时需要指定容量，并且有一个可选的参数来指定是否需要公平性。若设置了公平参数，则那么等待了最长时间的线程会优先得到处理。通常，公平性会降低性能，只有在确实非常需要时才使用它。

PriorityBlockingQueue是一个带优先级的队列，而不是先进先出队列。元素按照它们的优先级顺序被移出。该队列是没有容量上限，但是，如果队列是空的，取元素的操作会阻塞。

最后，DelayQueue包含实现Delayed接口的对象：

interface Delayed extends Comparable
{
    long getDelay(TimeUnit unit);
}

getDelay方法返回对象的残留延迟。负值表示延迟已经结束。元素只有在延迟用完的情况下才能从DelayQueue移除。还必须实现compareTo方法。DelayQueue使用该方法对元素进行排序。JavaSE7增加了一个TranSferQueUe接口，允许生产者线程等待，直到消费者准备就绪可以接收一个元素。如果生产者调用

q.transfer(item);

这个调用会阻塞，直到另一个线程将元素（item)删除。LinkedTransferQueue类实现了这个接口。下面的程序展示了如何使用阻塞队列来控制一组线程。程序在一个目录及它的所有子目录下搜索所有文件，打印出包含指定关键字的行。

/**
 *@author  zzehao
 */
import java.io.*; 
import java.util.*; 
import java.util.concurrent.*;

public class BlockingQueueTest
{
	private static final int FILE_QUEUE_SIZE = 10; 
	private static final int SEARCH_THREADS = 100; 
	private static final File DUMMY = new File(""); 
	private static BlockingQueue queue = new ArrayBlockingQueue<>(FILE_QUEUE_SIZE);

	public static void main(String[] args)
	{
		try(Scanner in = new Scanner(System.in))
		{
			System.out.print("Enter base directory (e.g. /opt/jdkl.8.0/src): ");
			String directory = in.nextLine();
			System.out.print("Enter keyword (e.g. volatile): ");
			String keyword= in.nextLine();

			Runnable enumerator =() -> {
				try
				{
					enumerate(new File(directory));
					queue.put(DUMMY);
				}
				catch (InterruptedException e)
				{
				}
			};

			new Thread(enumerator).start();
			for (int i = 1;i <= SEARCH_THREADS ; i++) 
			{
				Runnable searcher = () -> {
					try
					{
						boolean done = false;
						while (!done)
						{
							File file = queue.take();
							if (file == DUMMY)
							{
								queue.put(file);
								done = true;
							}
							else
								search(file,keyword);
						}
					}
					catch(IOException e)
					{
						e.printStackTrace();
					}
					catch(InterruptedException e)
					{
					}
				};
				new Thread(searcher).start();
			}
		}
	}
	
	//Recursively enumerates all files in a given directory and its subdirectories.
	public static void enumerate(File directory) throws InterruptedException
	{
		File[] files = directory.listFiles();
		for (File file : files)
		{
			if (file.isDirectory())
				enumerate(file);
			else
				queue.put(file);
		}
	}

	//Searches a file for a given keyword and prints all matching lines.
	public static void search(File file, String keyword) throws IOException
	{
		try (Scanner in =new Scanner(file, "UTF-8"))
		{
			int lineNumber = 0;
			while (in.hasNextLine())
			{
				lineNumber++;
				String line = in.nextLine();
				if (line.contains(keyword))
					System.out.printf("%s:%d:%s%n", file.getPath(),lineNumber,line);
			}
		}
	}
}

运行的结果是：

生产者线程枚举在所有子目录下的所有文件并把它们放到一个阻塞队列中。这个操作很快，如果没有上限的话，很快就包含了所有找到的文件。我们同时启动了大量搜索线程o每个搜索线程从队列中取出一个文件，打开它，打印所有包含该关键字的行，然后取出下一个文件。我们使用一个小技巧在工作结束后终止这个应用程序。为了发出完成信号，枚举线程放置一个虚拟对象到队列中（这就像在行李输送带上放一个写着“最后一个包”的虚拟包)。当搜索线程取到这个虚拟对象时，将其放回并终止。

注意，不需要显式的线程同步。在这个应用程序中，我们使用队列数据结构作为一种同步机制。

---