生产者/消费者问题的多种Java实现

背景
    实质上,很多后台服务程序并发控制的基本原理都可以归纳为生产者/消费者模式,而这是恰恰是在本科操作系统课堂上老师反复讲解,而我们却视而不见不以为然的。


    生产者消费者问题是研究多线程程序时绕不开的经典问题之一,它描述是有一块缓冲区作为仓库,生产者可以将产品放入仓库,消费者则可以从仓库中取走产品。解决生产者/消费者问题的方法可分为两类:
(1)采用某种机制保护生产者和消费者之间的同步;
(2)在生产者和消费者之间建立一个管道。


    第一种方式有较高的效率,并且易于实现,代码的可控制性较好,属于常用的模式。第二种管道缓冲区不易控制,被传输数据对象不易于封装等,实用性不强。因此本文只介绍同步机制实现的生产者/消费者问题。
同步问题核心在于:如何保证同一资源被多个线程并发访问时的完整性。常用的同步方法是采用信号或加锁机制,保证资源在任意时刻至多被一个线程访问。Java语言在多线程编程上实现了完全对象化,提供了对同步机制的良好支持。在Java中一共有四种方法支持同步,其中前三个是同步方法,一个是管道方法。

  1. wait() / notify()方法

  2. await() / signal()方法

  3. BlockingQueue阻塞队列方法

  4. PipedInputStream / PipedOutputStream

    本文只介绍最常用的前三种,第四种暂不做讨论。


    一. wait() / notify()方法
        wait() / nofity()方法是基类Object的两个方法,也就意味着所有Java类都会拥有这两个方法,这样,我们就可以为任何对象实现同步机制。
    wait()方法:当缓冲区已满/空时,生产者/消费者线程停止自己的执行,放弃锁,使自己处于等等状态,让其他线程执行。
    notify()方法:当生产者/消费者向缓冲区放入/取出一个产品时,向其他等待的线程发出可执行的通知,同时放弃锁,使自己处于等待状态。
    来段代码就明白了:

public class Main {
    public static void main(String[] args) {
        // write your code here
        Main main = new Main();
        main.test();
    }
    public void test() {
        // 仓库对象
        Storage storage = new Storage();
        // 生产者对象
        Producer p1 = new Producer(storage);
        Producer p2 = new Producer(storage);
        Producer p3 = new Producer(storage);
        Producer p4 = new Producer(storage);
        Producer p5 = new Producer(storage);
        Producer p6 = new Producer(storage);
        Producer p7 = new Producer(storage);
        // 消费者对象
        Consumer c1 = new Consumer(storage);
        Consumer c2 = new Consumer(storage);
        Consumer c3 = new Consumer(storage);
        // 设置生产者产品生产数量
        p1.setNum(10);
        p2.setNum(10);
        p3.setNum(10);
        p4.setNum(10);
        p5.setNum(10);
        p6.setNum(10);
        p7.setNum(80);
        // 设置消费者产品消费数量
        c1.setNum(50);
        c2.setNum(20);
        c3.setNum(30);
        // 线程开始执行
        c1.start();
        c2.start();
        c3.start();
        p1.start();
        p2.start();
        p3.start();
        p4.start();
        p5.start();
        p6.start();
        p7.start();
    }
    /**
     * 仓库类Storage实现缓冲区
     */
    class Storage {
        // 仓库最大存储量
        private final int MAX_SIZE = 100;
        // 仓库存储的载体
        private LinkedList list = new LinkedList<>();
        // 生产num个产品
        public void produce(int num) {
            synchronized (list) {
                // 如果仓库剩余容量不足
                while (list.size() + num > MAX_SIZE) {
                    System.out.println("【要生产的产品数量】:" + num + "\t【库存量】:" + list.size() + "\t\t暂时不能执行生产任务!");
                    // 由于条件不满足,生产阻塞
                    try {
                        list.wait();
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
                // 到这里说明,生产条件满足情况,生产num个产品
                for (int i = 1; i <= num; ++i) {
                    list.add(new Object());
                }
                System.out.println("【已经生产产品数】:" + num + "\t\t【现仓储量为】:" + list.size());
                list.notifyAll();
            }
        }
        // 消费num个产品
        public void consume(int num) {
            // 同步代码段
            synchronized (list) {
                // 如果仓库存储量不足
                while (list.size() < num) {
                    System.out.println("【要消费的产品数量】:" + num + "\t【库存量】:" + list.size() + "\t\t暂时不能执行消费任务!");
                    try {
                        // 由于条件不满足,消费阻塞
                        list.wait();
                    } catch (InterruptedException e) {
                        e.printStackTrace();
                    }
                }
                // 到这里说明, 消费条件满足情况,消费num个产品
                for (int i = 1; i <= num; ++i) {
                    list.remove();
                }
                System.out.println("【已经消费产品数】:" + num + "\t\t【现仓储量为】:" + list.size());
                list.notifyAll();
            }
        }
        public LinkedList getList() {
            return list;
        }
        public void setList(LinkedList list) {
            this.list = list;
        }
        public int getMAX_SIZE() {
            return MAX_SIZE;
        }
    }
    /**
     * 生产者类Producer继承线程类Thread
     */
    public class Producer extends Thread {
        // 每次生产的产品数量
        private int num;
        // 所在放置的仓库
        private Storage storage;
        // 构造函数,设置仓库
        public Producer(Storage storage) {
            this.storage = storage;
        }
        // 线程run函数
        @Override
        public void run() {
            produce(num);
        }
        // 调用仓库Storage的生产函数
        public void produce(int num) {
            storage.produce(num);
        }
        // get/set方法
        public int getNum() {
            return num;
        }
        public void setNum(int num) {
            this.num = num;
        }
        public Storage getStorage() {
            return storage;
        }
        public void setStorage(Storage storage) {
            this.storage = storage;
        }
    }
    /**
     * 消费者类Consumer继承线程类Thread
     */
    public class Consumer extends Thread {
        // 每次消费的产品数量
        private int num;
        // 所在放置的仓库
        private Storage storage;
        // 构造函数,设置仓库
        public Consumer(Storage storage) {
            this.storage = storage;
        }
        // 线程run函数
        @Override
        public void run() {
            consume(num);
        }
        // 调用仓库Storage的生产函数
        public void consume(int num) {
            storage.consume(num);
        }
        // get/set方法
        public int getNum() {
            return num;
        }
        public void setNum(int num) {
            this.num = num;
        }
        public Storage getStorage() {
            return storage;
        }
        public void setStorage(Storage storage) {
            this.storage = storage;
        }
    }
}

截屏2021-04-19 22.10.46.png


二. await() / signal()方法
    在JDK5.0之后,Java提供了更加健壮的线程处理机制,包括同步、锁定、线程池等,它们可以实现更细粒度的线程控制。await()和signal()就是其中用来做同步的两种方法,它们的功能基本上和wait() / nofity()相同,完全可以取代它们,但是它们和新引入的锁定机制Lock直接挂钩,具有更大的灵活性。通过在Lock对象上调用newCondition()方法,将条件变量和一个锁对象进行绑定,进而控制并发程序访问竞争资源的安全。


• await()方法会使得当前线程等待,同时释放锁,当其他线程使用sinal()方法或者sinalAll()方法时,线程会重新获得锁并继续执行。或者当线程被中断时,也能跳出等待,和wait相似。
• awaitUninterruptibly()方法与await()基本一致,但是并不会在等待过程中响应中断。
• sinal()方法用于唤醒一个在等待中的线程,sinalAll()方法会唤醒所有在等待中的线程。这和Object.notify()很相似。

下面来看condition实现阻塞队列代码:

public class Main {
    public static void main(String[] args) throws InterruptedException {
        // write your code here
        Main main = new Main();
        main.test();
    }
    public void test() {
        // 仓库对象
        Storage storage = new Storage();
        // 生产者对象
        Producer p1 = new Producer(storage);
        Producer p2 = new Producer(storage);
        Producer p3 = new Producer(storage);
        Producer p4 = new Producer(storage);
        Producer p5 = new Producer(storage);
        Producer p6 = new Producer(storage);
        Producer p7 = new Producer(storage);
        // 消费者对象
        Consumer c1 = new Consumer(storage);
        Consumer c2 = new Consumer(storage);
        Consumer c3 = new Consumer(storage);
        // 设置生产者产品生产数量
        p1.setNum(10);
        p2.setNum(10);
        p3.setNum(10);
        p4.setNum(10);
        p5.setNum(10);
        p6.setNum(10);
        p7.setNum(80);
        // 设置消费者产品消费数量
        c1.setNum(50);
        c2.setNum(20);
        c3.setNum(30);
        // 线程开始执行
        c1.start();
        c2.start();
        c3.start();
        p1.start();
        p2.start();
        p3.start();
        p4.start();
        p5.start();
        p6.start();
        p7.start();
    }
    /**
     * 仓库类Storage实现缓冲区
     */
    class Storage {
        // 仓库最大存储量
        private final int MAX_SIZE = 100;
        // 仓库存储的载体
        private LinkedList list = new LinkedList<>();
        // 锁
        private final Lock lock = new ReentrantLock(true);
        // 仓库满的条件变量
        private final Condition full = lock.newCondition();
        // 仓库空的条件变量
        private final Condition empty = lock.newCondition();
        // 生产num个产品
        public void produce(int num) {
            // 获得锁
            lock.lock();
            // 如果仓库剩余容量不足
            while (list.size() + num > MAX_SIZE) {
                System.out.println("【要生产的产品数量】:" + num + "\t【库存量】:" + list.size() + "\t\t暂时不能执行生产任务!");
                // 由于条件不满足,生产阻塞
                try {
                    full.await();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            // 到这里说明,生产条件满足情况,生产num个产品
            for (int i = 1; i <= num; ++i) {
                list.add(new Object());
            }
            System.out.println("【已经生产产品数】:" + num + "\t\t【现仓储量为】:" + list.size());
            // 唤醒其他所有线程
            empty.signalAll();
            // 释放锁
            lock.unlock();
        }
        // 消费num个产品
        public void consume(int num) {
            // 同步代码段
            lock.lock();
            // 如果仓库存储量不足
            while (list.size() < num) {
                System.out.println("【要消费的产品数量】:" + num + "\t【库存量】:" + list.size() + "\t\t暂时不能执行消费任务!");
                try {
                    // 由于条件不满足,消费阻塞
                    empty.await();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            // 到这里说明, 消费条件满足情况,消费num个产品
            for (int i = 1; i <= num; ++i) {
                list.remove();
            }
            System.out.println("【已经消费产品数】:" + num + "\t\t【现仓储量为】:" + list.size());
            // 唤醒其他所有线程
            full.signalAll();
            // 释放锁
            lock.unlock();
        }
        public LinkedList getList() {
            return list;
        }
        public void setList(LinkedList list) {
            this.list = list;
        }
        public int getMAX_SIZE() {
            return MAX_SIZE;
        }
    }
    /**
     * 生产者类Producer继承线程类Thread
     */
    public class Producer extends Thread {
        // 每次生产的产品数量
        private int num;
        // 所在放置的仓库
        private Storage storage;
        // 构造函数,设置仓库
        public Producer(Storage storage) {
            this.storage = storage;
        }
        // 线程run函数
        @Override
        public void run() {
            produce(num);
        }
        // 调用仓库Storage的生产函数
        public void produce(int num) {
            storage.produce(num);
        }
        // get/set方法
        public int getNum() {
            return num;
        }
        public void setNum(int num) {
            this.num = num;
        }
        public Storage getStorage() {
            return storage;
        }
        public void setStorage(Storage storage) {
            this.storage = storage;
        }
    }
    /**
     * 消费者类Consumer继承线程类Thread
     */
    public class Consumer extends Thread {
        // 每次消费的产品数量
        private int num;
        // 所在放置的仓库
        private Storage storage;
        // 构造函数,设置仓库
        public Consumer(Storage storage) {
            this.storage = storage;
        }
        // 线程run函数
        @Override
        public void run() {
            consume(num);
        }
        // 调用仓库Storage的生产函数
        public void consume(int num) {
            storage.consume(num);
        }
        // get/set方法
        public int getNum() {
            return num;
        }
        public void setNum(int num) {
            this.num = num;
        }
        public Storage getStorage() {
            return storage;
        }
        public void setStorage(Storage storage) {
            this.storage = storage;
        }
    }
}

截屏2021-04-19 22.10.46.png


三. BlockingQueue阻塞队列方法
    BlockingQueue是JDK5.0的新增内容,它是一个已经在内部实现了同步的队列,实现方式采用的是 await() / signal()方法。它可以在生成对象时指定容量大小。它用于阻塞操作的是put()和take()方法。
put()方法:类似于我们上面的生产者线程,容量达到最大时,自动阻塞。
take()方法:类似于我们上面的消费者线程,容量为0时,自动阻塞。
关于BlockingQueue的内容网上有很多,在这不多介绍。下面直接看代码即可:

public class Main {
    public static void main(String[] args) throws InterruptedException {
        // write your code here
        Main main = new Main();
        main.test();
    }
    public void test() {
        // 仓库对象
        Storage storage = new Storage();
        // 生产者对象
        Producer p1 = new Producer(storage);
        Producer p2 = new Producer(storage);
        Producer p3 = new Producer(storage);
        Producer p4 = new Producer(storage);
        Producer p5 = new Producer(storage);
        Producer p6 = new Producer(storage);
        Producer p7 = new Producer(storage);
        // 消费者对象
        Consumer c1 = new Consumer(storage);
        Consumer c2 = new Consumer(storage);
        Consumer c3 = new Consumer(storage);
        // 设置生产者产品生产数量
        p1.setNum(10);
        p2.setNum(10);
        p3.setNum(10);
        p4.setNum(10);
        p5.setNum(10);
        p6.setNum(10);
        p7.setNum(80);
        // 设置消费者产品消费数量
        c1.setNum(50);
        c2.setNum(20);
        c3.setNum(30);
        // 线程开始执行
        c1.start();
        c2.start();
        c3.start();
        p1.start();
        p2.start();
        p3.start();
        p4.start();
        p5.start();
        p6.start();
        p7.start();
    }
    /**
     * 仓库类Storage实现缓冲区
     */
    class Storage {
        // 仓库最大存储量
        private final int MAX_SIZE = 100;
        // 仓库存储的载体
        private ArrayBlockingQueue list = new ArrayBlockingQueue<>(MAX_SIZE);
        // 生产num个产品
        public void produce(int num) {
            // 如果仓库剩余容量不足
            while (list.size() >= MAX_SIZE) {
                System.out.println("【库存量】:" + list.size() + "\t\t暂时不能执行生产任务!");
            }
            // 到这里说明,生产条件满足情况,生产num个产品
            for (int i = 1; i <= num; ++i) {
                // 放入产品,自动阻塞
                try {
                    list.put(new Object());
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            System.out.println("【现仓储量为】:" + list.size());
        }
        // 消费num个产品
        public void consume(int num) {
            // 如果仓库存储量不足
            while (list.size() <= 0) {
                System.out.println("【库存量】:" + list.size() + "\t\t暂时不能执行消费任务!");
            }
            // 到这里说明, 消费条件满足情况,消费num个产品
            for (int i = 1; i <= num; ++i) {
                // 消费产品,自动阻塞
                try {
                    list.take();
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
            }
            System.out.println("【现仓储量为】:" + list.size());
        }
        public ArrayBlockingQueue getList() {
            return list;
        }
        public void setList(ArrayBlockingQueue list) {
            this.list = list;
        }
        public int getMAX_SIZE() {
            return MAX_SIZE;
        }
    }
    /**
     * 生产者类Producer继承线程类Thread
     */
    public class Producer extends Thread {
        // 每次生产的产品数量
        private int num;
        // 所在放置的仓库
        private Storage storage;
        // 构造函数,设置仓库
        public Producer(Storage storage) {
            this.storage = storage;
        }
        // 线程run函数
        @Override
        public void run() {
            produce(num);
        }
        // 调用仓库Storage的生产函数
        public void produce(int num) {
            storage.produce(num);
        }
        // get/set方法
        public int getNum() {
            return num;
        }
        public void setNum(int num) {
            this.num = num;
        }
        public Storage getStorage() {
            return storage;
        }
        public void setStorage(Storage storage) {
            this.storage = storage;
        }
    }
    /**
     * 消费者类Consumer继承线程类Thread
     */
    public class Consumer extends Thread {
        // 每次消费的产品数量
        private int num;
        // 所在放置的仓库
        private Storage storage;
        // 构造函数,设置仓库
        public Consumer(Storage storage) {
            this.storage = storage;
        }
        // 线程run函数
        @Override
        public void run() {
            consume(num);
        }
        // 调用仓库Storage的生产函数
        public void consume(int num) {
            storage.consume(num);
        }
        // get/set方法
        public int getNum() {
            return num;
        }
        public void setNum(int num) {
            this.num = num;
        }
        public Storage getStorage() {
            return storage;
        }
        public void setStorage(Storage storage) {
            this.storage = storage;
        }
    }
}

截屏2021-04-19 22.08.54.png

    有时使用BlockingQueue可能会出现put()和System.out.println()输出不匹配的情况,这是由于它们之间没有同步造成的。当缓冲区已满,生产者在put()操作时,put()内部调用了await()方法,放弃了线程的执行,然后消费者线程执行,调用take()方法,take()内部调用了signal()方法,通知生产者线程可以执行,致使在消费者的println()还没运行的情况下生产者的println()先被执行,所以有了输出不匹配的情况。
对于BlockingQueue大家可以放心使用,这可不是它的问题,只是在它和别的对象之间的同步有问题。

你可能感兴趣的:(生产者/消费者问题的多种Java实现)