9. python多进程之Queue实现生产者消费者模型

一、概述

1. 什么是生产者消费者模式

   • 生产者消费者模式是通过一个容器来解决生产者和消费者的强耦合问题。
   • 生产者和消费者彼此之间不直接通讯，而通过阻塞队列来进行通讯，所以生产者生产完数据之后不用等待消费者处理，直接扔给阻塞队列，消费者不找生产者要数据，而是直接从阻塞队列里取，阻塞队列就相当于一个缓冲区，平衡了生产者和消费者的处理能力。

2. 为什么要使用生产者和消费者模式

   • 在并发编程中使用生产者和消费者模式能够解决绝大多数并发问题。该模式通过平衡生产线程和消费线程的工作能力来提高程序的整体处理数据的速度。
   • 在进程世界里，生产者就是生产数据的进程，消费者就是消费数据的进程。
   • 在多进程开发当中，如果生产者处理速度很快，而消费者处理速度很慢，那么生产者就必须等待消费者处理完，才能继续生产数据。同样的道理，如果消费者的处理能力大于生产者，那么消费者就必须等待生产者。为了解决这个问题于是引入了生产者和消费者模式。

---

二、示例

1. Queue队列实现生成者消费者模型

from multiprocessing import Queue, Process
import time, random


def producer(name, food, q):
    for i in range(4):
        time.sleep(random.randint(1,2))
        f = '%s生产了%s%s'%(name, i, food)
        print(f)
        q.put(f)

def consumer(name, q):
    while True:
        food = q.get()
        if food is None:
            print('%s没有获取到东西！' %(name))
            break
        print('\033[31m%s消费了%s\033[0m' %(name, food))
        time.sleep(random.randint(1,2))
if __name__ == "__main__":
    q = Queue(20)
    p1 = Process(target=producer, args=('p1', '包子', q))
    p2 = Process(target=producer, args=('p2', '稀饭', q))
    p1.start()
    p2.start()
    c1 = Process(target=consumer, args=('c1',q))
    c2 = Process(target=consumer, args=('c2', q))
    c1.start()
    c2.start()
    p1.join()
    p2.join()
    q.put(None)
    q.put(None)