Python并行编程(九)：多进程对象交换之pipe(管道)实现生产者-消费者模型

什么是管道？

Pipe常用来在两个进程间进行通信，两个进程分别位于管道的两端。Pipe方法返回(conn1,conn2)代表一个管道的两个端，Pipe方法有duplex参数，如果duplex参数为True(默认值)，那么这个管道是全双工模式，也就是说conn1和conn2均可收发，若duplex为False，conn1只负责接收消息，conn2只负责发送消息。send和recv方法分别是发送和接收消息的方法。例如，在全双工模式下，可以调用conn1.send发送消息,conn1.recv接收消息。如果没有消息可接收，recv方法会一直阻塞。如果管道已经被关闭，那么recv方法会抛出EOFError.

生产者-消费者模型

即我们也可以利用管道的特性实现生产者-消费者模型：

import multiprocessing

import random

import time
import os


def producer(pipe):

    while True:
        time.sleep(1)
        item = random.randint(1, 10)
        print('process producer product goods:{}'.format(item))
        pipe.send(item)
        time.sleep(1)


def consumer(pipe):

    while True:
        time.sleep(1)
        item = pipe.recv()
        print('process cusumer get goods:{}'.format(item))
        time.sleep(1)


if __name__ == "__main__":

    pipe = multiprocessing.Pipe()

    process_producer = multiprocessing.Process(
        target=producer, args=(pipe[0],))

    process_consumer = multiprocessing.Process(
        target=consumer, args=(pipe[1],))

    process_producer.start()
    process_consumer.start()

    process_producer.join()
    process_consumer.join()

运行截图如下：

运行结果

可以看到，管道是类似于文件读写，只是字节流的读写，多个共用很容易就受干扰，官方文档有过明确给出即进程若进程频繁的读写操作通过访问管道方式实现，容易出现错误。