python多进程用不了_Python多进程相关的坑

Python的multiprocessing模块实现了多进程功能,但官方文档上只有一些比较简单的用法,主要是使用函数作为process的target,而如何在class中使用多进程并没有多讲解。google出两篇比较详细的文章,建议从它们入门:

下面记录一下自己这周在python多进程上碰到的坑:

创建进程时,参数必须能够被pickle,所以有些自定义的类对象实例是不能被作为参数的

和threading不同,multiprocessing Process参数必须能够被pickle进行序列化

Python 2.7,Can’t pickle

python 2.7 的 python 3.5版本中,multiprocessing的行为是不同的,有些代码可以在3.5中运行,在2.7中却运行出错

例如上,在3.5中可以运行,这是因为在3.5版本中,pick可以序列化更多的类型。

尽量避免类实例中包含multiprocess.Manager实例,否则会有

TypeError: Pickling an AuthenticationString object is disallowed for security reasons

或者:

_pickle.PicklingError: Can't pickle : attribute lookup weakref on builtins failed

进程间共享的对象,使用Manager进行管理

Manager会生成一个进程,所以不同进程间访问统一变量,是通过IPC进行的,会有性能上的开销。

关于主进程所在的文件代码

使用multiprocessing时,主模块会被import到各进程中,所以创建子进程的部分,必须使用

if __name__ == '__main__:

进行保护,否则会有runtime error,或者递归创建子进程

Update 1 (2018-11-08):

在Windows环境中,jupyter-notebook中,即使使用if __name__ == '__main__进行保护,也会出现runtime error,这个时候可以将jupyter中的代码下载成py脚本,直接运行脚本。

作为对比,Linux下运行的jupyter-notebook并不会。

你可能感兴趣的:(python多进程用不了)