python模块介绍-gevent介绍：基于协程的网络库
python模块介绍-gevent介绍：基于协程的网络库
介绍
gevent是基于协程的Python网络库。特点：
基于libev的快速事件循环(Linux上epoll，FreeBSD上kqueue）。
基于greenlet的轻量级执行单元。
API的概念和Python标准库一致(如事件，队列)。
可以配合socket，ssl模块使用。
能够使用标准库和第三方模块创建标准的阻塞套接字(gevent.monkey)。
默认通过线程池进行DNS查询,也可通过c-are(通过GEVENT_RESOLVER=ares环境变量开启）。
TCP/UDP/HTTP服务器
子进程支持（通过gevent.subprocess）
线程池
安装
gevent目前支持python2.5-2.7，python2.6以前的版本如果要使用ssl还需要安装ssl模块。
# pip install gevent
实例
下面的示例展示了如何同时运行任务。
>>> import gevent>>> from gevent import socket>>> urls = ['www.google.com', 'www.example.com', 'www.python.org']>>> jobs = [gevent.spawn(socket.gethostbyname, url) for url in urls]>>> gevent.joinall(jobs, timeout=2)>>> [job.value for job in jobs]['74.125.128.106', '93.184.216.119', '82.94.164.162']
job发起之后，gevent.joinall()等待完成，不超过2秒。结果收集在gevent.Greenlet.value属性。 gevent.socket.gethostbyname()和socket.gethostbyname()的接口一样，但它并不阻塞解释器，其他 greenlet继续畅通无阻的处理请求。
灵猴补丁(Monkey patching)
上面例子使gevent.socket进行socket操作。如果使用标准socket模块将有3倍耗时，因为DNS请求是串行的。在greenlet中使用标准socket模块毫无意义，这些模块和包是怎么建立在socket之上的？
monkey patching这时起作用了，gevent.monkey小心地使用兼容副本替换标准socket模块的函数和类。这样，即使是不知道gevent的模块也受益于greenlet环境运行。
>>> from gevent import monkey; monkey.patch_socket()>>> import urllib2 # it's usable from multiple greenlets now
下面是使用urllib2进行下载的实例：
#!/usr/bin/env python# -*- coding: utf-8 -*-# Copyright (c) 2009 Denis Bilenko. See LICENSE for details."""Spawn multiple workers and wait for them to complete"""urls = ['http://www.google.com', 'http://www.yandex.ru', 'http://www.python.org']import geventfrom gevent import monkey# patches stdlib (including socket and ssl modules) to cooperate with other greenletsmonkey.patch_all()import urllib2def print_head(url):
print('Starting %s' % url)
data = urllib2.urlopen(url).read()
print('%s: %s bytes: %r' % (url, len(data), data[:50]))jobs = [gevent.spawn(print_head, url) for url in urls]gevent.wait(jobs)
执行结果：
# ./test.py Starting http://www.google.com Starting http://www.yandex.ru Starting http://www.python.org http://www.google.com: 11246 bytes: '<!doctype html><html itemscope="" itemtype="http:/'http://www.python.org: 20471 bytes: '<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Trans'http://www.yandex.ru: 208804 bytes: '<!DOCTYPE html><html class="i-ua_js_no i-ua_css_st'
事件循环
不像其他网络库，gevent和eventlet类似， 在一个greenlet中隐式开始事件循环。没有必须调用run()或dispatch()的反应器(reactor)，在twisted中是有 reactor的。当gevent的API函数想阻塞时，它获得Hub实例(执行时间循环的greenlet),并切换过去。如果没有集线器实例则会动态 创建。
libev提供的事件循环默认使用系统最快轮询机制，设置LIBEV_FLAGS环境变量可指定轮询机制。LIBEV_FLAGS=1为select， LIBEV_FLAGS = 2为poll， LIBEV_FLAGS = 4为epoll,LIBEV_FLAGS = 8为kqueue。请阅读libev文档了解更多信息http://pod.tst.eu/http://cvs.schmorp.de/libev/ev.pod#FUNCTIONS_CONTROLLING_EVENT_LOOPS。
Libev的API位于gevent.core下。注意libev API的回调在Hub的greenlet运行，因此使用同步greenlet的API。可以使用spawn()和Event.set()等异步API。
多任务合作
所有greenlets都在同一个操作系统线程调度执行。直到特定的greenlet放弃控制，（调用阻塞函数切换到Hub），其他greenlet才有 机会运行。对于I / O密集型应用程序这通常不是问题，但做CPU密集型或者调用封锁绕过libev事件循环的I/0功能的时会有问题。
一般不需要在greenlet之间同步访问共享对象， 所以Lock和Semaphore类尽管存在，但是很少使用。从线程和多处理等其他概念仍然常用，如下：
Event：唤醒在调用Event.wait()方法的greenlets。
AsyncResult:和Event类似，但允许传递值或异常。队列和JoinableQueue。
Queu和JoinableQueue.
轻量级伪线程
greenlet通过创建greenlet实例并调用其start方法发起。(spawn()函数就是做这个的快捷方式)。 start方法给greenlet安排一个开关，当前greenlet放弃控制触发。如果有多个active的事件，将不确定的顺序一一执行。
如果在执行过程中出现错误，将无法离开greenlet的边界。未处理的错误导致打印堆栈跟踪及失败函数和参数：
>>> gevent.spawn(lambda : 1/0)>>> gevent.sleep(1)Traceback (most recent call last): ...ZeroDivisionError: integer division or modulo by zero<Greenlet at 0x7f2ec3a4e490: <function <lambda...>> failed with ZeroDivisionError
traceback在greenlet退出时同步打印至sys.stderr。
Greenlet实例有如下有用的方法：
join – waits until the greenlet exits;
kill – interrupts greenlet’s execution;
get – returns the value returned by greenlet or re-raised the exception that killed it.
继承Greenlet类重载其str可以自定义traceback后的字符串。另外还需要重载_run()方法以及在init中调用Greenlet.init(self)。
class MyNoopGreenlet(Greenlet): def __init__(self, seconds): Greenlet.__init__(self) self.seconds = seconds def _run(self): gevent.sleep(self.seconds) def __str__(self): return 'MyNoopGreenlet(%s)' % self.seconds
可以异步结束Greenlet,浙江将恢复等待的greenlet，不继续执行而是引发GreenletExit。
>>> g = MyNoopGreenlet(4)>>> g.start()>>> g.kill()>>> g.deadTrue
GreenletExit及其子类的处理方式不同于其他异常。GreenletExit不被视为异常状态，不打印traceback。get可以获得GreenletExit是GET，就好像它是由greenlet返回，不是raise。
kill方法可以自定义的异常：
>>> g = MyNoopGreenlet.spawn(5) # spawn() creates a Greenlet and starts it>>> g.kill(Exception("A time to kill"))Traceback (most recent call last):
...Exception: A time to kill
MyNoopGreenlet(5) failed with Exception
kill还可以接受timeout参数指定greenlet退的等待秒数。注意，kill不能保证目标greenlet不会忽视该异常，因此给kill传递timeout是个好方法。
超时
gevent的API中的许多函数是同步的，阻塞当前greenlet直到操作完成。例如，kill会等到greenlet结束。多数可以传递参数block=False异步执行。
此外，许多同步函数接受超时参数，指定可以阻塞多久(比如：Event.wait(), Greenlet.join(), Greenlet.kill(), AsyncResult?.get()等)。
socket和SSLObject实例也可以超时，由setTimeout方法设置。
如果这些还不够用，Timeout类可以给任意（yielding）代码块增加超时。
了解更多
限制并发可以使用Pool类（参见实例： dns_mass_resolve.py）
gevent自带的TCP/SSL/HTTP/WSGI服务器。参见实现服务器部分http://www.gevent.org/servers.html。
外部资源
gevent For the Working Python Developer： 是一个更全面的教程。http://sdiehl.github.io/gevent-tutorial/. 中文版本参见http://xlambda.com/gevent-tutorial/
参考资料
gevent主页： http://www.gevent.org/
gevent英文文档: http://www.gevent.org/intro.html
gevent程序员指南: http://xlambda.com/gevent-tutorial/
下载地址：https://pypi.python.org/pypi/gevent
作者博客：http://my.oschina.net/u/1433482
Linux slab 分配器剖析
类型：翻译