windows下python多进程multiprocessing报错TypeError: can't pickle _thread.lock objects

pickle用法,以及在multiprocessing中的雷区

Process传参报错pickle

process多进程的过程涉及pickle,俗称序列化,多进程传参数会自动将参数序列化,pickle.dumps()

我在开启多进程传参过程中传递了不可序列化的对象——ssh初始化的对象,他是一个Paramiko实例对象,

导致报错TypeError: can't pickle _thread.lock objects

在多进程传参时要避免雷区,就首先要

 检测自己的参数能不能序列化,在传参前检测一下  pickle.dumps()  是否会报错

下面是我的代码,其中,p是proxiesIp类的初始化,proxiesIp类是自定义的一个初始化ssh的实例对象

if __name__ == '__main__':
    freeze_support()
    # 初始化代理ip
    p = proxiesIp()
    # p.start_tiny_proxy()
    p.adsl_restart()
    p = pickle.dumps(p)

out:

Traceback (most recent call last):
  File "F:/alisonProject/User-Profile-Recommend/Alison_user_profile_movie_recommend/src/test_process.py", line 20, in 
    p = pickle.dumps(p)
Ty

你可能感兴趣的:(multiprocessing,pickle,pickle,multiprocessing,多进程,序列化,windows多进程)