今天同事反映一个问题让帮忙看一下:多进程共用一个变量,在一个进程中修改后,在另外的进程中并没有产生修改。
一、错误的实现方式
最初以为是没添加global声明导致修改未生效,但实际操作发现global方式在多进程中也只能读不能写。错误示例代码如下:
import multiprocessing
# 声明一个全局变量
share_var = ["start flag"]
def sub_process(process_name):
# 企图像单个进程那样通过global声明使用全局变量
global share_var
share_var.append(process_name)
# 但是很可惜,在多进程中这样引用只能读,修改其他进程不会同步改变
for item in share_var:
print(f"{process_name}-{item}")
pass
def main_process():
process_list = []
# 创建进程1
process_name = "process 1"
tmp_process = multiprocessing.Process(target=sub_process,args=(process_name,))
process_list.append(tmp_process)
# 创建进程2
process_name = "process 2"
tmp_process = multiprocessing.Process(target=sub_process, args=(process_name,))
process_list.append(tmp_process)
# 启动所有进程
for process in process_list:
process.start()
for process in process_list:
process.join()
if __name__ == "__main__":
main_process()
执行结果如下,可以看到进程1中的修改未表现在进程2中(不过要注意,和多线程一样,如果运算量再大一点进程1并不一定比进程2先执行):
二、共享普通类型变量实现方法
参考:https://blog.csdn.net/houyanhua1/article/details/78244288
import multiprocessing
# 不能将共享变量和共享锁定义成全局变量然后通过global引用那样会报错,只能传过来
def sub_process(process_name,share_var,share_lock):
# 获取锁
share_lock.acquire()
share_var.append(process_name)
# 释放锁
share_lock.release()
for item in share_var:
print(f"{process_name}-{item}")
pass
def main_process():
# 单个值声明方式。typecode是进制类型,C写法和Python写法都可以,见下方表格;value是初始值。
# 这种单值形式取值赋值需要通过get()/set()方法进行,不能直接如一般变量那样取值赋值
# share_var = multiprocessing.Manager().Value(typecode, value)
# 数组声明方式。typecode是数组变量中的变量类型,sequence是数组初始值
# share_var = multiprocessing.Manager().Array(typecode, sequence)
# 字典声明方式
# share_var = multiprocessing.Manager().dict()
# 列表声明方式
share_var = multiprocessing.Manager().list()
share_var.append("start flag")
# 声明一个进程级共享锁
# 不要给多进程传threading.Lock()或者queue.Queue()等使用线程锁的变量,得用其进程级相对应的类
# 不然会报如“TypeError: can't pickle _thread.lock objects”之类的报错
share_lock = multiprocessing.Manager().Lock()
process_list = []
process_name = "process 1"
tmp_process = multiprocessing.Process(target=sub_process,args=(process_name,share_var,share_lock))
process_list.append(tmp_process)
process_name = "process 2"
tmp_process = multiprocessing.Process(target=sub_process, args=(process_name,share_var,share_lock))
process_list.append(tmp_process)
for process in process_list:
process.start()
for process in process_list:
process.join()
if __name__ == "__main__":
main_process()
执行结果如下,可以看到进程1中的修改已表现在进程2中(不过要注意,和多线程一样,如果运算量再大一点进程1并不一定比进程2先执行):
typecode如果是数值或单个字符,可为以下类型(注意有引号):
Type Code | C Type | Python Type |
'c' | char | character |
'b' | signed char | int |
'B' | unsigned char | int |
'u' | Py_UNICODE | unicode character |
'h' | signed short | int |
'H' | unsigned short | int |
'i' | signed int | int |
'I' | unsigned int | int |
'l' | signed long | int |
'L' | unsigned long | int |
'f' | float | float |
'd' | double | float |