Python中的joblib.Parallel函数

from joblib import Parallel, delayed
import time
def single(a):
    """ 定义一个简单的函数  """
    time.sleep(1)  # 休眠1s
    print(a)       # 打印出a

start = time.time()  # 记录开始的时间
for i in range(10):  # 执行10次single()函数
    single(i)
Time = time.time() - start  # 计算执行的时间
print(str(Time)+'s')

下面我们使用joblib库里的Parallel函数及delayed函数来对执行10次single()函数的操作实现并行化处理。Parallel函数会创建一个进程池，以便在多进程中执行每一个列表项，函数中，我们设置参数n_jobs=3，即开启三个进程。函数delayed是一个创建元组(function, args, kwargs)的简单技巧，代码中的意思是创建10个实参分别为0~9的single()函数的workers。代码及结果如下，可见运行时间相比顺序执行大大减小，由于进程切换等操作的时间开销，最终的执行时间并不是理想的3.33s，而是大于一个3.33s的时间。

start = time.time()  # 记录开始的时间
Parallel(n_jobs=3)(delayed(single)(i) for i in range(10))   # 并行化处理
Time = time.time() - start  # 计算执行的时间
print(str(Time)+'s')
 
#  运行结果如下  #
0
1
2
3
4
5
6
7
8
9
4.833665370941162s

参考文献
https://blog.csdn.net/Flag_ing/article/details/106972790