python中的线程池

Python中的线程池教程

线程池是一种多线程编程的优化技术，它预先创建一定数量的线程，并将任务放入队列中。当有新的任务需要执行时，线程池会从队列中取出一个任务并分配给空闲的线程执行，而不是每次都创建新的线程。这种方式可以减少线程的创建和销毁开销，提高系统资源的利用率和程序的性能。

在Python中，我们可以使用内置的concurrent.futures模块来实现线程池。

1. 线程池基础

1.1 ThreadPoolExecutor类

ThreadPoolExecutor是concurrent.futures模块提供的线程池实现。以下是一个简单的例子：

import concurrent.futures
import time

def worker(num):
    time.sleep(1)
    print(f"Worker {num} finished.")

with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    for i in range(10):
        executor.submit(worker, i)

在这个例子中，我们创建了一个最大工作线程数为5的线程池，并提交了10个任务到线程池中。每个任务都是调用worker()函数并传入一个参数。

1.2 Future对象

submit()方法返回一个Future对象，它代表了线程池中一个正在执行或已经完成的任务。可以通过调用Future对象的result()或exception()方法来获取任务的结果或异常。

import concurrent.futures
import time


def worker(num):
    if num == 3:
        raise Exception("线程 3 抛出异常.")
    time.sleep(0.3)
    return f"线程 {num} 的结果."


if __name__ == '__main__':
    with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
        futures = [executor.submit(worker, i) for i in range(10)]
        for future in concurrent.futures.as_completed(futures):
            try:
                result = future.result()
                print(result)
            except Exception as e:
                print("exception:", e)

在这个例子中，我们使用as_completed()函数来迭代所有已完成的Future对象，并获取它们的结果或处理异常。

2. 线程池高级用法

2.1 控制最大工作线程数

通过设置max_workers参数，可以控制线程池中的最大工作线程数。如果未指定该参数，Python将默认使用系统的CPU核心数作为最大工作线程数。

import concurrent.futures
import time

def worker(num):
    time.sleep(1)
    print(f"Worker {num} finished.")

with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
    for i in range(10):
        executor.submit(worker, i)

在这个例子中，我们将最大工作线程数设置为3，这意味着线程池最多同时运行3个任务。

2.2. 使用map()和starmap()方法

线程池还提供了map()和starmap()方法，它们类似于内置的map()和itertools.starmap()函数，但可以在多个线程上并行执行。

import concurrent.futures
import time

def worker(num):
    time.sleep(1)
    return f"Result from Worker {num}"

with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:
    # 使用map()方法
    results1 = executor.map(worker, range(10))
    
    # 使用starmap()方法
    results2 = executor.starmap(worker, [(i, ) for i in range(10)])
    
    for result in results1:
        print(result)
    
    for result in results2:
        print(result)

在这个例子中，我们使用map()和starmap()方法分别并行执行了10个任务，并打印了结果。

3. 总结

Python的线程池通过concurrent.futures.ThreadPoolExecutor类提供了方便且高效的多线程编程方式。通过合理地使用线程池，可以有效地管理线程资源，减少线程创建和销毁的开销，提高程序的性能和响应速度。在实际应用中，可以根据任务的特性选择合适的线程池大小和使用方式，以达到最佳的并发效果。