由于python的GIL锁,导致了一个进程里面只有一个线程能运行(拿到锁的运行),那么就需要使用协程,协程是异步的而且不会阻塞。任务可以给协程运行,然后开多个进程。下面是协程代码,当高并发的I/O任务的时可以使用如下demo
# coding:utf-8
from multiprocessing import Pool
import asyncio
import time
#每个携程睡一秒钟 相当于任务
async def test(time):
await asyncio.sleep(time)
#运行携程
async def main(num):
start_time=time.time()
tasks=[asyncio.create_task(test(1)) for proxy in range(num)]
[await t for t in tasks]
print(time.time()-start_time)
def run(num):
asyncio.run(main(num))
#协程和进制池一起使用避免GIL锁,实现多核异步编程
if __name__ == '__main__':
start_time=time.time()
#创建进程池
p=Pool()
#创建四个进程
for i in range(4):
p.apply_async(run,args=(500,))
p.close()
p.join()
print(f'total{
time.time()-start_time}')
故不积跬步,无以至千里;
不积小流,无以成江海。