Python进程池Pool的使用

1.进程池Pool

需要创建的子进程数量不多时,可以直接利用multiprocessing中的Process动态成生多个进程,但如果是上百甚至上千个目标,手动的去创建进程的工作量巨大,此时就可以用到multiprocessing模块提供的Pool方法。

Python进程池Pool的使用_第1张图片
初始化Pool时,可以指定一个最大进程数,当有新的请求提交到Pool中时,如果池还没有满,那么就会创建一个新的进程用来执行该请求;但如果池中的进程数已经达到指定的最大值,那么该请求就会等待,直到池中有进程结束,才会用之前的进程来执行新的任务。

请看下面的实例:

import multiprocessing
import time

def copy_work():
    print("拷贝中....",multiprocessing.current_process().pid)
    time.sleep(0.3)

if __name__ == '__main__':
    # 创建进程池, Pool(3) 表示创建容量为3个进程的进程池
    pool = multiprocessing.Pool(3)

    for i in range(10):
        # 利用进程池同步拷贝文件,进程池中的进程会必须等上一个进程退出才能执行下一个进程
        # pool.apply(copy_work)
        pool.apply_async(copy_work)

    pool.close()
    # 注意:如果使用异步方式执行cop

你可能感兴趣的:(【Python高级】)