asyncio

asyncio

先看一个小例子

#!/usr/bin/env python3.6
import asyncio

# python3.5开始用async代替了asyncio.coroutine， await 代替了yield from
async def hello():
    print("hello world!")
    # 使用asyncio.sleep()而不是time.sleep()，因为后者是阻塞型的
    # await后面的表达式是一个生成器
    # r = yield asyncio.sleep(1)
    r = await asyncio.sleep(1)
    print("end")

# 创建事件偱环
loop = asyncio.get_event_loop()
# 将hello函数放到事件偱环中执行
loop.run_until_complete(hello())
loop.close()

Task对象

1. 用来驱动协程，使用loop.create_task(...)或asyncio.ensure_task(...)获取
2. Task是Future的子类，与Concurrent.futures.Future类似
3. run_until_complete函数会自动将协程转换成Task对象，然后执行
4. 获取最终结果是用result = await task_obj 而不是result = task_obj.result()

几个重要的方法

1. asyncio.ensure_task(coro_or_future, loop=None)

接收一个协程或Future对象，如果是协程，则会调用loop.create_task()方法创建Future对象，如果是Future或Task对象，则会直接返回。loop是可选参数，如果没有传递，ensure_task方法会使用get_event_loop创建loop

异步爬虫库 aiohttp

#!/usr/bin/env python3.6
import asyncio
import aiohttp

async def get_text(url):
  # 获取响应内容是异步操作, 使用await来获取结果
    response = await aiohttp.request('GET', url)
  # 获取网页内容也是异步操作
    r = await response.text()
    print(r)

loop = asyncio.get_event_loop()
# 如果需要执行的对象有很多个，将它们组成可迭代的对象(如列表),然后传进asyncio.wait()或asyncio.gather()
loop.run_until_complete(get_text("http://www.baidu.com"))
loop.close()

as_completed()
传递由Future对象构成的可迭代对象，返回生成结果的Future对象（iterator)

举个粟子

#!/usr/bin/env python3.6
import asyncio
import aiohttp

urls = ["http://www.baidu.com", "http://www.zhihu.com"]


async def get_text(url):
    response = await aiohttp.request('GET', url)
    r = await response.text()
    print(r)

async def coro():
    fututes = [get_text(url) for url in urls]
    to_do_iter = asyncio.as_completed(fututes)
    for future in to_do_iter:
        try:
        # 使用await获取结果，而不是future.result()
            res = await future
        except FetchError as exe:
            pass

loop = asyncio.get_event_loop()
loop.run_until_complete(coro())
loop.close()

文件io操作是阻塞型的，应该要使用异步操作替代
asyncio在背后维护着一个ThreadPoolExecutor对象，我们可以调用 run_in_executor方法，将文件io操作交给他执行

例子

def save_file(filename, content):
    with open(filename, "w") as f:
        f.write(content)

loop = asyncio.get_event_loop()
# 第一个参数是Executor实例，如果为None，则使用ThreadPoolExecutor默认的实例
loop.run_in_exector(None, save_file, filename, content)