【Python入门】50.异步IO之 asyncio实现异步操作

摘要:如何通过asyncio实现异步IO;用aiohttp模块编写支持多用户高并发的服务器。


*写在前面:为了更好的学习python,博主记录下自己的学习路程。本学习笔记基于廖雪峰的Python教程,如有侵权,请告知删除。欢迎与博主一起学习Pythonヽ( ̄▽ ̄)ノ *


目录

异步IO
asyncio
async/await
aiohttp
小结

异步IO

asyncio

asyncio是Python 3.4版本引入的标准库,直接内置了对异步IO的支持。

我们只要从asyncio模块中获取一个EventLoop的引用,然后把需要执行的协程放到EventLoop中执行,就可以实现异步IO了。

我们看个简单的例子:

import asyncio

@asyncio.coroutine
def A():
    print('Hello, A!')
    r = yield from asyncio.sleep(1)
    print('Hello again!')

@asyncio.coroutine
def B():
    print('Hello, B!')
    r = yield from asyncio.sleep(1)
    print('Hello again!')

loop = asyncio.get_event_loop()                   # 获取EventLoop的引用
tasks = [A(),B()]                                 # 把两个coroutine封装起来
loop.run_until_complete(asyncio.wait(tasks))      # 把封装好的coroutine放到EventLoop中执行
loop.close()

语句@asyncio.coroutine是把紧接的generator标记为协程coroutine类型。

语句yield from可以调用另一个generator,并且拿取返回值(这里为None)。

语句asyncio.sleep(1)可以当作是一个耗时1秒的IO操作。

定义好coroutine之后,把它们封装好,放入EventLoop中执行即可。

运行结果:

Hello, B!
Hello, A!
(间隔约1秒)
Hello again!
Hello again!

可以看到coroutine A和coroutine B是并发执行的。

如果把asyncio.sleep()换成真正的IO操作,就可以实现多个coroutine就由一个线程并发执行的异步IO操作了。

我们用asyncio的异步网络连接来获取sina、sohu和163的网站首页(例子源自廖雪峰官网)

import asyncio

@asyncio.coroutine
def wget(host):
    print('wget %s...' % host)
    connect = asyncio.open_connection(host, 80)
    reader, writer = yield from connect
    header = 'GET / HTTP/1.0\r\nHost: %s\r\n\r\n' % host
    writer.write(header.encode('utf-8'))
    yield from writer.drain()
    while True:
        line = yield from reader.readline()
        if line == b'\r\n':
            break
        print('%s header > %s' % (host, line.decode('utf-8').rstrip()))
    # Ignore the body, close the socket
    writer.close()

loop = asyncio.get_event_loop()
tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

执行结果:

wget www.sohu.com...
wget www.sina.com.cn...
wget www.163.com...
(等待一段时间)
(打印出sohu的header)
www.sohu.com header > HTTP/1.1 200 OK
www.sohu.com header > Content-Type: text/html
...
(打印出sina的header)
www.sina.com.cn header > HTTP/1.1 200 OK
www.sina.com.cn header > Date: Wed, 20 May 2015 04:56:33 GMT
...
(打印出163的header)
www.163.com header > HTTP/1.0 302 Moved Temporarily
www.163.com header > Server: Cdn Cache Server V2.0
...

async/await

在Python3.5版本中,引入了新语法asyncawait,让coroutine的代码更简洁易读。

其中:

async用于替换之前的@asyncio.coroutine

await用于替换之前的yield from

我们用更为简洁的语法把上面的代码重新编写一下:

import asyncio

async def wget(host):
    print('wget %s...' % host)
    connect = asyncio.open_connection(host, 80)
    reader, writer = await connect
    header = 'GET / HTTP/1.0\r\nHost: %s\r\n\r\n' % host
    writer.write(header.encode('utf-8'))
    await writer.drain()
    while True:
        line = await reader.readline()
        if line == b'\r\n':
            break
        print('%s header > %s' % (host, line.decode('utf-8').rstrip()))
    writer.close()

loop = asyncio.get_event_loop()
tasks = [wget(host) for host in ['www.sina.com.cn', 'www.sohu.com', 'www.163.com']]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()

执行结果与上面一致。

需要注意的是,新语法是Python3.5及之后的版本使用,若是3.4及之前的版本,仍需要用之前的语法。

aiohttp

在上面的例子中,asyncio用在了客户端上。

实际上asyncio多用在服务器端上,例如Web服务器。由于HTTP连接就是IO操作,通过asyncio可以实现多用户的高并发支持。

aiohttp是基于asyncio实现的HTTP框架。

aiohttp没有内置,需要通过pip下载安装:

pip install aiohttp

我们试一下用aiohttp编写一个服务器,来处理下面两个URL:

/:首页,返回b'

Index

'
/hello/{name}:根据URL参数返回文本hello, %s!

代码如下 (源自廖雪峰官网)

import asyncio

from aiohttp import web

async def index(request):
    await asyncio.sleep(0.5)
    return web.Response(body=b'

Index

', content_type='text/html') async def hello(request): await asyncio.sleep(0.5) text = '

hello, %s!

' % request.match_info['name'] return web.Response(body=text.encode('utf-8'), content_type='text/html') async def init(loop): app = web.Application(loop=loop) app.router.add_route('GET', '/', index) app.router.add_route('GET', '/hello/{name}', hello) srv = await loop.create_server(app.make_handler(), '127.0.0.1', 8000) # 创建TCP服务 print('Server started at http://127.0.0.1:8000...') return srv loop = asyncio.get_event_loop() loop.run_until_complete(init(loop)) loop.run_forever()

运行之后,在浏览器中输入http://localhost:8000/hello/xxx,结果如下:

aiohttp.png

小结

asyncio提供了完善的异步IO支持;

异步操作需要在coroutine中通过yield from完成;

coroutine放到asyncio提供EventLoop引用中执行,即可实现异步操作;

在Python3.5及之后的版本中,语法@asyncio.coroutine替换成async,语法yield from替换成await

异步IO更多用于服务器端,通过aiohttp模块,可以简单地编写出支持多用户高并发的服务器。


以上就是本节的全部内容,感谢你的阅读。

有任何问题与想法,欢迎评论与吐槽。

和博主一起学习Python吧( ̄▽ ̄)~*

你可能感兴趣的:(【Python入门】50.异步IO之 asyncio实现异步操作)