协程,又称微线程,纤程。英文名Coroutine。
协程是python个中另外一种实现多任务的方式,只不过比线程更小占用更小执行单元(理解为需要的资源)。 为啥说它是一个执行单元,因为它自带CPU上下文。这样只要在合适的时机, 我们可以把一个协程 切换到另一个协程。 只要这个过程中保存或恢复 CPU上下文那么程序还是可以运行的。
通俗的理解:在一个线程中的某个函数,可以在任何地方保存当前函数的一些临时变量等信息,然后切换到另外一个函数中执行,注意不是通过调用函数的方式做到的,并且切换的次数以及什么时候再切换到原来的函数都由开发者自己确定
在实现多任务时, 线程切换从系统层面远不止保存和恢复 CPU上下文这么简单。 操作系统为了程序运行的高效性每个线程都有自己缓存Cache等等数据,操作系统还会帮你做这些数据的恢复操作。 所以线程的切换非常耗性能。但是协程的切换只是单纯的操作CPU的上下文,所以一秒钟切换个上百万次系统都抗的住。
Greenlet是python的一个C扩展,来源于Stackless python,旨在提供可自行调度的‘微线程’, 即协程。generator实现的协程在yield value时只能将value返回给调用者(caller)。 而在greenlet中,target.switch(value)可以切换到指定的协程(target), 然后yield value。greenlet用switch来表示协程的切换,从一个协程切换到另一个协程需要显式指定。
为了更好使用协程来完成多任务,python中的greenlet模块对其封装,从而使得切换任务变的更加简单
使用如下命令安装greenlet模块(在ubuntu的命令行下):
sudo pip3 install greenlet
也在pycharm中配置可用资源:
#coding=utf-8
from greenlet import greenlet
import time
def test1():
while True:
print "---A--"
gr2.switch()
time.sleep(0.5)
def test2():
while True:
print "---B--"
gr1.switch()
time.sleep(0.5)
gr1 = greenlet(test1)
gr2 = greenlet(test2)
#切换到gr1中运行
gr1.switch()
从图中代码可以看出,两个test协程之间必须通过switch方法来进行切换才能实现异步。
下面介绍一个更棒的模块:
python有一个比greenlet更强大的并且能够自动切换任务的模块gevent
其原理是当一个greenlet遇到IO(指的是input output 输入输出,比如网络、文件操作等)操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。
由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。
import time
import gevent
def work1():
for i in range(5):
print("work1 -----1")
time.sleep(0.5)
def work2():
for i in range(5):
print("work2 -----2")
time.sleep(0.5)
# 创建携程并指派任务
g1 = gevent.spawn(work1)
g2 = gevent.spawn(work2)
# 等待协程执行完成再关闭主线程
g1.join()
g2.join()
运行结果
work1 -----1
work1 -----1
work1 -----1
work1 -----1
work1 -----1
work2 -----2
work2 -----2
work2 -----2
work2 -----2
work2 -----2
我们是希望 gevent 帮我们我们自动切换协程以达到work1 和 work2 交替执行的目的,但并没有达到我们的效果
原因是因为 time.sleep(0.2) 并没有被正确的识别到,所以要使用下面的 gvent.sleep() 来实现延时(耗时)操作
# 使用gevent.sleep() 使得延时操作能够被gevent识别
gevent.sleep(0.5)
问题是,如果我们以前的代码中大量使用了time.sleep()
等耗时方法,如果全部改为gevent.sleep()
为了让程序更好的兼容time.sleep()
我们可以给程序打补丁,以实现兼容
关于猴子补丁为啥叫猴子补丁,据说是这样子的:
这个叫法起源于Zope框架,大家在修正Zope的Bug的时候经常在程序后面追加更新部分,这些被称作是“杂牌军补丁(guerilla patch)”,后来guerilla就渐渐的写成了gorllia((猩猩),再后来就写了monkey(猴子),所以猴子补丁的叫法是这么莫名其妙的得来的。
猴子补丁主要有以下几个用处:
# 打补丁,让gevent识别自己提供或者网络请求的耗时操作
from gevent import monkey
monkey.patch_all()
在运行时替换方法、属性等
在不修改第三方代码的情况下增加原来不支持的功能
在运行时为内存中的对象增加patch而不是在磁盘的源代码中增加
进程、线程、协程的关系
进程是资源分配的单位