Eventlet库详解

Eventlet库是什么？

Eventlet is a concurrent networking library for Python that allows you to change how you run your code, not how you write it.
这段摘自官方文档介绍，Evenlet是一个Python的基于携程的网络库，它改变了你代码运行的方式，但是没有改变你怎么写代码

Eventlet怎么实现的？

Eventlet通过改写了Python底层的一些系统库例如socket，thread,os等，并封装了另外两个库greenlet（一个协程库）和epoll（基于linux实现异步IO的库）。

如何使用Eventlet？

官方文档其实有很详细的例子， 这里用几个例子来说明一下简单常用的Eventlet用法

1. 从eventlet.green导入相关库

import eventlet
from eventlet.green import urllib2

urls = [
    "https://www.google.com/intl/en_ALL/images/logo.gif",
    "http://python.org/images/python-logo.gif",
    "http://us.i1.yimg.com/us.yimg.com/i/ww/beta/y3.gif",
]

def fetch(url):
    print("opening", url)
    body = urllib2.urlopen(url).read()
    print("done with", url)
    return url, body

pool = eventlet.GreenPool(200)
for url, body in pool.imap(fetch, urls):
    print("got body from", url, "of length", len(body))

这个网页爬虫的例子是用到了eventlet改写的urllib2库，代码逻辑很简单，主要是要知道要将原本用的库改为从eventlet.green中导入。

2. 利用spawn产生协程

import eventlet

def test(x):
    print(f'Greenthread test Num:{x}')
    eventlet.greenthread.sleep(1)
    return x

def test1(y):
    print(f'Greenthread test1 Num:{y}')
    return y

x = eventlet.spawn(test, 1)
y = eventlet.spawn(test1, 2)
x.wait()

#Greenthread test1 Num:2
#Greenthread test Num:1
#1

spawn函数产生的协程可以通过wait函数来执行并获取它的返回结果，例子中，因为碰到eventlet.greenthread.sleep(1)，程序就会切到下一个协程，但是协程这种切换是没有顺序的。根据机器随机执行。

我最后注释的输出结果，多次执行会得到不同的结果，这个应该跟程序到机器输出的时候，test函数中print和sleep相邻时间太短有关系，如果把print函数放到后面，则输出永远会是test1先打印。.

除了spawn之外，GreenPool，spawn_n，GreenPool的用法在第一个网页爬虫的例子中有写。

为什么spawn不需要用greenlet的库呢？

我认为这个问题对于理解Eventlet很关键。想要完全清楚可能也不容易，用简单的几句话说出我的理解：

eventlet改写了系统IO库，并通过一些python的魔术方法和其他方法，将这些改写的IO库patch到spawn产生的GreenThread上，从而在代码执行IO操作的时候，自动非阻塞。

eventlet的异步模式

eventlet的异步模式主要是利用了一个存储greenthread的hub，当协程遇到IO操作时，将CPU控制权返回给hub，hub再去调度另一个协程。这跟IO多路复用是做法是差不多的。

贴个图，方便理解协程，hub，线程，进程的区别

image.png

最后疑问

如果你觉得你理解了eventlet，可以思考一下，是不是只要经过spawn生成的协程都是非阻塞的呢？

欢迎留言讨论交流，我会尽快回复