Python进程池multiprocessing.Pool八个函数对比

---

主要内容

Python的multiprocessing.Pool类提供了多种方法来分发任务给进程池中的工作进程。这些方法在功能和用途上有所不同，适用于不同的场景。以下是multiprocessing.Pool中八个主要函数的对比

1. apply()

• 功能：阻塞地执行一个函数，直到这个函数的执行完成。
• 用法：apply(func, args=(), kwds={})
• 特点：类似于内置的apply函数，但在池中的一个进程中执行。

2. apply_async()

• 功能：异步版本的apply，不会等待函数执行完成。
• 用法：apply_async(func, args=(), kwds={}, callback=None, error_callback=None)
• 特点：可以提供回调函数，当函数执行完成时调用。

3. map()

• 功能：类似于内置的map函数，但并行地在多个进程中执行。
• 用法：map(func, iterable, chunksize=None)
• 特点：阻塞直到结果返回，适用于处理可迭代对象。

4. map_async()

• 功能：map的异步版本。
• 用法：map_async(func, iterable, chunksize=None, callback=None, error_callback=None)
• 特点：不会阻塞，可以提供回调函数。

5. starmap()

• 功能：类似于map，但适用于函数需要多个参数的情况。
• 用法：starmap(func, iterable, chunksize=None)
• 特点：阻塞直到结果返回，适用于迭代器提供多个参数。

6. starmap_async()

• 功能：starmap的异步版本。
• 用法：starmap_async(func, iterable, chunksize=None, callback=None, error_callback=None)
• 特点：不会阻塞，可以提供回调函数。

7. imap()

• 功能：类似于map，但返回一个迭代器。
• 用法：imap(func, iterable, chunksize=1)
• 特点：可以立即开始处理结果，而不必等待所有任务完成。

8. imap_unordered()

• 功能：类似于imap，但结果的顺序不保证与输入的顺序相同。
• 用法：imap_unordered(func, iterable, chunksize=1)
• 特点：适用于结果顺序不重要的场景，可能比imap更高效。

案例

以下是multiprocessing.Pool中每个函数的示例：

1. apply()

from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == '__main__':
    with Pool(4) as p:
        result = p.apply(square, (10,))
        print(result)

2. apply_async()

from multiprocessing import Pool

def square(x):
    return x * x

def print_result(result):
    print(result)

if __name__ == '__main__':
    with Pool(4) as p:
        result = p.apply_async(square, (10,), callback=print_result)
        result.wait()  # 等待任务完成

3. map()

from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == '__main__':
    with Pool(4) as p:
        results = p.map(square, range(10))
        print(results)

4. map_async()

from multiprocessing import Pool

def square(x):
    return x * x

def print_result(result):
    print(result)

if __name__ == '__main__':
    with Pool(4) as p:
        result = p.map_async(square, range(10), callback=print_result)
        result.wait()  # 等待所有任务完成

5. starmap()

from multiprocessing import Pool

def multiply(x, y):
    return x * y

if __name__ == '__main__':
    with Pool(4) as p:
        results = p.starmap(multiply, [(1, 2), (2, 3), (3, 4)])
        print(results)

6. starmap_async()

from multiprocessing import Pool

def multiply(x, y):
    return x * y

def print_result(result):
    print(result)

if __name__ == '__main__':
    with Pool(4) as p:
        result = p.starmap_async(multiply, [(1, 2), (2, 3), (3, 4)], callback=print_result)
        result.wait()  # 等待所有任务完成

7. imap()

from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == '__main__':
    with Pool(4) as p:
        for result in p.imap(square, range(10)):
            print(result)

8. imap_unordered()

from multiprocessing import Pool

def square(x):
    return x * x

if __name__ == '__main__':
    with Pool(4) as p:
        for result in p.imap_unordered(square, range(10)):
            print(result)

总结

• apply和map系列函数提供了同步和异步的选项，适用于不同的并行处理需求。
• apply适用于单个函数调用，map适用于处理可迭代对象。
• starmap适用于函数需要多个参数的情况。
• imap和imap_unordered提供了更灵活的迭代方式，允许在任务完成前开始处理结果。
• 异步函数（带_async）允许程序继续执行而不必等待结果，可以提供回调函数处理结果。