django 使用全局线程池

需求背景

系统里面有频繁的异步操作，每次触发异步操作就会开始一个新的线程处理相关逻辑，逻辑集中在I/O密集型；频繁的新建/销毁线程，消耗大量资源；由此，考虑使用线程池替换现有逻辑。

实现逻辑

经过查询资料，python有ThreadPoolExecutor(tomorrow)可以直接实现线程池的相关功能，它的使用方式

executor = ThreadPoolExecutor(max_workers=2)

具体使用方法见ThreadPoolExecutor
ThreadPoolExecutor建立的线程池会先启动若干数量的线程，并让这些线程都处于睡眠状态，当向线程池submit一个任务后，会唤醒线程池中的某一个睡眠线程，让它来处理这个任务，当处理完这个任务，线程又处于睡眠状态。减少了建立销毁线程池消耗
在本项目里面的实现如下（定义的装饰器）

from concurrent.futures.thread import ThreadPoolExecutor
class ThreadPool(object):
    def __init__(self):
        # 线程池
        self.executor = ThreadPoolExecutor(100)

global_thread_pool = ThreadPool()
def async_func(f):
    def wrapper(*args, **kwargs):
        global_thread_pool.executor.submit(f, *args, **kwargs)
    return wrapper

如何设置max_workers

总体的原则是: CPU密集型任务应配置尽可能小的线程，尽量跟CPU的个数相近；IO密集型任务应配置尽可能多的线程，因为IO操作不占用CPU，不要让CPU闲下来，应加大线程数量。推荐的公式：

最佳线程数目 = （线程等待时间与线程CPU时间之比 + 1）* CPU数目