【Python】基于gevent 轻松实现百万级并发
引言
因为研究需要，最近在研究 Python 的异步编程。Python 内置的标准库 asyncio 初次体验感觉很复杂，并且不支持同步编写第三方库，比如 requests。虽然有一个内置的名为 asyncio 的异步库但是又得重新学习接口。
好在笔者发现了一个非常好用的第三方库 gevent，该库可以轻松实现基于协程的并发，而无需修改原来的同步代码。你仅仅需要将同步编写的函数使用 gevent 进行封装，就能实现用户级别的显式任务调度。
方法
简单设计一个模拟实验测试 gevent 的并发效果。使用 time.sleep(0.1) 模拟任务用时，即 CPU 休眠 0.1 秒；任务总数设置为 100 万。并将任务封装为一个函数，以便调用。
实验
环境
| 系统 | CPU型号 | 主频 | 单个CPU核心数 | CPU数量 |
|---|---|---|---|---|
| Linux | Intel® Xeon® Gold 6242 | 2.80GHz | 16 | 2颗 |
结果
| 类型 | 耗时 |
|---|---|
| 同步 | 10万秒以上（理论耗时） |
| 多线程 | 3142.17秒（实测耗时） |
| 多协程 | 30.47秒以上（实测耗时） |
源码
- 同步（程序按顺序从上往下执行）
import time
t1 = time.time()
import gevent
from gevent import monkey
gevent.monkey.patch_all()
def func(i):
time.sleep(0.1)
print(f'task {i} complete')
tasks = [gevent.spawn(func, i) for i in range(1000000)]
gevent.wait(tasks)
t2 = time.time()
print(f'Time-consuming: {t2-t1}')
- 多协程（基于 gevent 库的协程实现【安装：
pip install gevent】）
import time
t1 = time.time()
import gevent
from gevent import monkey
gevent.monkey.patch_all()
def func(i):
time.sleep(0.1)
print(f'task {i} complete')
tasks = [gevent.spawn(func, i) for i in range(1000000)]
gevent.wait(tasks)
t2 = time.time()
print(f'Time-consuming: {t2-t1}')
- 多线程（基于 concurrent.futures 的线程池实现）
import time
t1 = time.time()
import concurrent.futures as cf
def func(i):
time.sleep(0.1)
print(f'task {i} complete')
with cf.ThreadPoolExecutor(32) as tp:
for i in range(1000000):
tp.submit(func, i)
t2 = time.time()
print(f'Time-consuming: {t2-t1}')
总结
从上述实验对比结果中，我们可以清楚看到多协程在高并发上的优势，并且其基于 gevent 的实现也是非常容易的。