python教程:使用gevent实现高并发并限制最大并发数

嗨喽~大家好呀,这里是魔王呐 ❤ ~!

python教程:使用gevent实现高并发并限制最大并发数_第1张图片

python更多源码/资料/解答/教程等 点击此处跳转文末名片免费获取

import time
import gevent
from gevent.pool import Pool
from gevent import monkey
# 一,定义最大并发数
p = Pool(20)
# 二,导入gevent猴子补丁,没有它,协称就不会并发执行

monkey.patch_all()


#  三,耗时任务或者阻塞任务,异步执行的或者需要并发的就是它了
def task(i):
    time.sleep(i)
    print("----这里---------")


# 四,任务派发,将15个任务派发给协程去做
threads = [p.spawn(task, 5) for i in range(15)]

# 五,在此阻塞,等所有协程全部完成退出,这一步才执行完
gevent.joinall(threads)

以上demo代码,就实现了:

最大并发数20,超过20个并发,排队等待;

上述代码中,单个协程耗时五秒,那么并发15个,全部耗时,应该也是5秒多一点点。

加入一个时间,来看看是不是真的。比如:

'''
遇到问题没人解答?小编创建了一个Python学习交流QQ群:926207505
寻找有志同道合的小伙伴,互帮互助,群里还有不错的视频学习教程和PDF电子书!
'''
import time
import gevent
from gevent.pool import Pool
from gevent import monkey
# 一,定义最大并发数
p = Pool(20)
# 二,导入gevent猴子补丁,没有它,协称就不会并发执行

monkey.patch_all()


#  三,耗时任务或者阻塞任务,异步执行的或者需要并发的就是它了
def task(i):
    time.sleep(i)
    print("----这里---------")

time_l=time.time()
# 四,任务派发,将15个任务派发给携程去做
threads = [p.spawn(task, 5) for i in range(15)]

# 五,在此阻塞,等所有协程全部完成退出,这一步才执行完
gevent.joinall(threads)

time_r=time.time()
print("总耗时:{}".format(time_r-time_l))

执行结果:

----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
----这里---------
总耗时:5.004504919052124

Process finished with exit code 0

尾语

最后感谢你观看我的文章呐~本次航班到这里就结束啦

希望本篇文章有对你带来帮助 ,有学习到一点知识~

躲起来的星星也在努力发光,你也要努力加油(让我们一起努力叭)。

最后,宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀

你可能感兴趣的:(python爬虫,python,开发语言,linux,pycharm,爬虫)