Python3使用multiprocessing多进程模块共享变量

在使用Python用CPU跑一个人脸识别的模块，神经网络的计算比较耗时，因为Python GIL的限制，因此这里使用多进程来并行跑数据集。

在多个进程之间共享简单变量

有很多张人脸图片，现在使用8个进程来分别对人脸图片进行识别，但是要知道总的进度和正确率，因此这里要在各个进程之间共享变量。这里需要的只是整型无符号变量。

• 在对总的进度和准确率进行计算的时候要加锁，防止别的进程改变
• 在使用 print输出的时候要加锁，因为控制台也是资源，要防止抢占
• 加锁了之后要记得释放锁

假设8个进程共识别了count张图片，然后正确的图片有correct张。思路如下：

• 在主进程中声明要共享的count和correct变量，初始化进程的时候传入
• 在各个进程中识别一张图片count就自增1，识别正确的话correct也要自增1，自增的时候要加锁
• 控制台输出相关信息的时候也要加锁

# l代表长整型无符号变量
count = multiprocessing.Value('l', 0)
correct = multiprocessing.Value('l', 0)
lock = multiprocessing.Lock()

# 要运行的函数为run()，lis为划分给每个进程的识别图片列表
p = [multiprocessing.Process(target=run, args=(lock, i, count, correct)) for i in lis]

for i in p:
    i.start()
for i in p:
    i.join()

在run函数中：

# 多个线程对共享变量进行操作，加锁
lock.acquire()
# 图片已经识别完毕，总数加一
count.value += 1
# 下面两个if分别为识别正确的情况
if i[0] == 3 and dis >= threshold:
    correct.value += 1
    print("正确率：{0:.5f}  总数：{1}  正确数：{2}  错误数：{3}  参数个数：{4}  向量夹角：{5:.5f}  图片1：{6}  图片2：{7}".format(correct.value/count.value, count.value, correct.value, count.value-correct.value, i[0], dis[0], i[1], i[2]))
    lock.release()
    continue
if i[0] == 4 and dis < threshold:
    correct.value += 1
    print("正确率：{0:.5f}  总数：{1}  正确数：{2}  错误数：{3}  参数个数：{4}  向量夹角：{5:.5f}  图片1：{6}  图片2：{7}".format(correct.value/count.value, count.value, correct.value, count.value-correct.value, i[0], dis[0], i[1], i[2]))
    lock.release()
    continue
print("识别错误：参数个数：{0}  向量夹角：{1}  图片1：{2}  图片2：{3}".format(i[0], dis[0], i[1], i[2]))
# 不要遗漏解锁，否则进程会死锁
lock.release()

在多个进程中共享字典dict

准备把识别过的照片特征缓存起来，因此这里使用字典，key就是照片名称，value就是特征值。在此使用mutiprocessing.Manage()来实现。

manager = multiprocessing.Manager()
# 这个是用来在多个进程中间共享的字典
sync_dict = manager.dict()
# 这个是使用pickle序列化到文件中用的临时字典变量
mem_dict = dict()

# 如果存在字典就载入，使用临时字典中转是因为sysnc_dict直接序列化会在下次加载时导致Manager在多个进程中的连接出现问题
if os.path.exists("./muti_thread_mem.pkl"):
    with open("./muti_thread_mem.pkl", "rb") as f:
        mem_dict = pickle.load(f)
    for i in mem_dict:
        sync_dict[i] = mem_dict[i]

使用multiprocessing.Manager()时就不用加锁了，它本身带有同步的功能。在run函数中直接使用就好了。

if i[1] in sync_dict:
	# 有记录就直接读取缓存
    encoding1 = sync_dict[i[1]]
else:
	# 没记录就计算出来再缓存一下
    face.file = Image.open(prefix+i[1])
    encoding1 = face.encodings
    sync_dict[i[1]] = encoding1
if i[2] in sync_dict:
    encoding2 = sync_dict[i[2]]
else:
    face.file = Image.open(prefix+i[2])
    encoding2 = face.encodings
    sync_dict[i[2]] = encoding2

如果缓存过就直接读取，如果没有缓存过就计算后然后再缓存一下，便于下次读取。大多都是业务的逻辑，没有什么意思。算完了之后在主程序退出之前再缓存到本地就好了。

with open("./muti_thread_mem.pkl", 'wb') as f:
    for k, v in enumerate(sync_dict):
        mem_dict[v] = sync_dict[v]
    if len(mem_dict):
    	# 传入的4就是想试一下Python新版本的特性而已，没啥其他意思
        pickle.dump(mem_dict, f, 4)

坑

在Pycharm里面运行代码的时候会碰到一些问题。

• 使用Pycharm的Python console运行代码的时候会导致一个进程完成任务之后，join等待主线程退出的时候，所有进程都报错pipe broken连接不到Manager的共享字典。但是使用本地Terminal运行的时候，一个进程完成任务后是不会导致其他进程报错的，因此推断这里是Pycharm的坑。

关键字：multiprocessing.Manager()报错pipe broken，进程获取共享变量时异常，导致所有进程退出

• 调试代码（Pycharm debug模式）的时候也会导致调试过程中进程连接不到Manager的共享字典变量。

这些坑都涉及到Manager在共享变量时使用的客户端/服务端模式，最后socket连接报错，所有进程读取共享变量时报错退出。我这次的解决方式是不要启用Pycharm的Python console来运行代码就好了。