python 多进程 queue 丢数据,Python3.x：多进程Queue

各个进程的内存都是独立的，不能互相直接访问，那我们如何进行进程间通信呢？其实之前有提到过，就是通过一个中间人，来实现两个进程之间的通信，下面来看看都有哪些方式能够实现进程间通信

进程queue

说进程queue之前，先说一下线程queue与进程的关系，因为这里有个事情要注意一下，首先看一段代码

from multiprocessing import Process

import queue

# import os

def f():

q.put([3, None, 'dasda'])

print(q.get())

if __name__ == '__main__':

q = queue.Queue()

p = Process(target=f,)

p.start()

print(q.get(block=False))

可以看到这里用的队列queue，主进程生成一个空队列实例，然后再主进程再开一个进程，在子进程里对队列q进行操作，这段代码在不同的环境中运行结果不同，在windows下当程序运行到f函数里的q.put([3, None, 'dasda'])的时候就会抛出错误：q没有定义，这里也好理解，就是子进程无法访问主进程的一些数据，但是在mac、ubuntu或者win下的anaconda下运行的时候子进程可以对q进程put和get操作，然后程序会在最后一行get的时候抛出队列为空的错误，这里我的理解方式就是子进程数据拷贝自父进程，也就是子进程存在一个定义了的q，但是进程间数据又不共享，所以主进程里的q还是为空

让我们来看看这两种情况

子进程存在定义了的q队列

子进程不存在定义了的q队列

这个时候就用到了进程queue，使用进程queue来实现进程间的通信

from multiprocessing import Queue

from multiprocessing import Process

def run():

q.put(3)

# print(q.get())

if __name__ == '__main__':

q = Queue()

t = Process(target=run)

t.start()

# time.sleep(1)

print(q.get())

这里可能会问，既然进程也有queue，那是不是这个queue能实现和线程queue一样的效果呢？答案是no，线程queue实现的是操作同一份数据，但是进程queue实现的是数据的复制，通过复制一个queue来实现进程间通信

转载请注明出处

python自学技术互助扣扣群：670402334