(python篇)协程的简单使用

一、协程

• 协程

  又称微线程(纤程)，是一种用户态的轻量级线程

• 子程序

  在所有的语言中都是层级调用的，比如A中调用B，B在执行过程中调用C，C执行完返回，B执行完返回，最后是A执行完毕。这是通过栈实现的，一个函数就是一个执行的子程序，子程序的调用总是有一个入口、一次返回，调用的顺序是明确的

• 理解协程

  线程是系统级别的，它们是由操作系统调度。
  协程是程序级别的，由程序员根据需求自己调度。
  我们把一个线程中的一个个函数称为子程序，那么一个子程序在执行的过程中可以中断去执行别的子程序，这就是协程。
  也就是说同一个线程下的一段代码1执行执行着就中断，然后去执行另一段代码2，当再次回来执行代码1时，接着从之前的中断的位置继续向下执行

• 优点

  a、协程极高的执行效率。
  因为子程序切换不是线程切换，而是由程序自身控制，因此，没有线程切换的开销，和多线程比，线程数量越多，协程的性能优势就越明显。

  b、不需要多线程的锁机制。
  因为只有一个线程，也不存在同时写变量冲突，在协程中控制共享资源不加锁，只需要判断状态就好了，所以执行效率比多线程高很多。

• 缺点

  a、无法利用多核CPU，协程的本质是单个线程，它不能同时将多个CPU的多个核心使用上，失去了标准线程使用多CPU的能力。

  b、进行阻塞操作(操作IO)会阻塞整个程序

二、同步与异步

1、同步与异步的概念

• 前言

  python由于GIL（全局锁）的存在，不能发挥多核的优势，其性能一直饱受诟病。然而在IO密集型的网络编程里，异步处理比同步处理能提升成百上千倍的效率

  IO密集型就是磁盘的读取数据和输出数据非常大的时候
  由于IO操作的运行时间远远大于cpu、内存运行时间，所以任务的大部分时间都是在等待IO操作完成，IO的特点是cpu消耗小，所以，IO任务越多，cpu效率越高，当然不是越多越好，有一个极限值。

• 同步

  指完成事务的逻辑，先执行第一个事务，如果阻塞了，会一直等待，直到这个事务完成，再执行第二个事务，顺序执行

• 异步

  是和同步相对的，异步是指在处理调用这个事务的之后，不会等待这个事务的处理结果，直接处理第二个事务去了，通过状态、通知、回调来通知调用者处理结果

三、asyncio模块

1、概述

• asyncio模块

  是python3.4版本引入的标准库，直接内置了对异步IO的操作

• 编程模式

  是一个消息循环，我们从asyncio模块中直接获取一个EventLoop的引用，然后把需要执行的协程扔到EventLoop中执行，就实现了异步IO

• 说明

  到目前为止实现协程的不仅仅只有asyncio,tornado和gevent都实现了类似功能

• 关键字的说明

  关键字	说明
  event_loop	消息循环，程序开启一个无限循环，把一些函数注册到事件循环上，当满足事件发生的时候，调用相应的协程函数
  coroutine	协程对象，指一个使用async关键字定义的函数，它的调用不会立即执行函数，而是会返回一个协程对象。协程对象需要注册到事件循环，由事件循环调用
  task	任务，一个协程对象就是一个原生可以挂起的函数，任务则是对协程进一步封装，其中包含了任务的各种状态
  async/await	python3.5用于定义协程的关键字，async定义一个协程，await用于挂起阻塞的异步调用接口

2、开启多任务协程

Task 概念及用法

• Task，是 python 中与事件循环进行交互的一种主要方式。

  创建 Task，意思就是把协程封装成 Task 实例，并追踪协程的 运行 / 完成状态，用于未来获取协程的结果。

• Task 核心作用: 在事件循环中添加多个并发任务;

  具体来说，是通过 asyncio.create_task() 创建 Task，让协程对象加入时事件循环中，等待被调度执行。

  **注意:**Python 3.7 以后的版本支持 asyncio.create_task() ，在此之前的写法为 loop.create_task() ，开发过程中需要注意代码写 法对不同版本 python 的兼容性。

• 需要指出的是，协程封装为 Task 后不会立马启动，当某个代码 await 这个 Task 的时候才会被执行。

  当多个 Task 被加入一个 task_list 的时候，添加 Task 的过程中 Task 不会执行，必须要用 await asyncio.wait() 或 await asyncio.gather() 将 Task 对象加入事件循环中异步执行。

• 一般在开发中，常用的写法是这样的:

  – 先创建 task_list 空列表;
  – 然后用 asyncio.create_task() 创建 Task;

  – 再把 Task 对象加入 task_list ;

  – 最后使用 await asyncio.wait 或 await asyncio.gather 将 Task 对象加入事件循环中异步执行。

import asyncio

async def run(url):
    print('异步任务开始')
    await asyncio.sleep(2)
    print('异步任务结束')
    return url

def call_back(f):
    print('返回值为：', f.result())

if __name__ == '__main__':
    loop = asyncio.get_event_loop()  # 创建事件循环
    task_list = []
    for url in ['百度', '阿里', '京东', '爱奇艺']:
        coroutine = run(url)
        task = loop.create_task(coroutine)  # 创建任务
        task.add_done_callback(call_back)
        task_list.append(task)
    loop.run_until_complete(asyncio.wait(task_list))

3、返回值

• asyncio.wait和asyncio.gather的异同

  相同:从功能上看， asyncio.wait 和 asyncio.gather 实现的效果是相同的，都是把所有 Task 任务结果收集起来。

  不同: asyncio.wait 会返回两个值: done 和 pending ， done 为已完成的协程 Task ， pending 为超时未完成的协程 Task ，需通过 future.result 调用 Task 的 result ;
  而asyncio.gather 返回的是所有已完成 Task 的 result ，不需要再进行调用或其他操作，就可以得到全部结果。

wait返回值

import asyncio
import random

async def run(i):
    print('协程开始', i)
    await asyncio.sleep(random.randint(1, 5))
    print('协程结束', i)
    return i

async def main():
    tasks = []  # 装当前task任务
    for i in range(1, 5):
        task = asyncio.get_event_loop().create_task(run(i))
        tasks.append(task)
    done, pending = await asyncio.wait(tasks)
    # 循环以及完成任务的协程 获取返回值
    for d in done:
        print('返回值', d.result())

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

wait外部返回值

import asyncio
import random

async def run(i):
    print('协程开始', i)
    await asyncio.sleep(random.randint(1, 5))
    print('协程结束', i)
    return i

async def main():
    tasks = []  # 装当前task任务
    for i in range(1, 5):
        task = asyncio.create_task(run(i))
        tasks.append(task)
    return await asyncio.wait(tasks)

if __name__ == '__main__':
    done, pending = asyncio.run(main())
    # 循环以及完成任务的协程 获取返回值
    for d in done:
        print('返回值', d.result())

gather返回值

import asyncio
import random

async def run(i):
    print('协程开始', i)
    await asyncio.sleep(random.randint(1, 5))
    print('协程结束', i)
    return i

async def main():
    tasks = []  # 装当前task任务
    for i in range(1, 5):
        task = asyncio.get_event_loop().create_task(run(i))
        tasks.append(task)
    done = await asyncio.gather(*tasks)
    # 循环以及完成任务的协程 获取返回值
    for d in done:
        print('返回值', d)

if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    loop.run_until_complete(main())

gather外部返回值

import asyncio
import random

async def run(i):
    print('协程开始', i)
    await asyncio.sleep(random.randint(1, 5))
    print('协程结束', i)
    return i

async def main():
    tasks = []  # 装当前task任务
    for i in range(1, 5):
        task = asyncio.get_event_loop().create_task(run(i))
        tasks.append(task)
    return await asyncio.gather(*tasks)


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    done = loop.run_until_complete(main())
    # 循环以及完成任务的协程 获取返回值
    for d in done:
        print('返回值', d)

使用回调函数获取返回值

import asyncio
import random

async def run(i):
    print('协程开始', i)
    await asyncio.sleep(random.randint(1, 5))
    print('协程结束', i)
    return i

def call_back(f):
    print('返回值------', f.result())

async def main():
    tasks = []  # 装当前task任务
    for i in range(1, 5):
        task = asyncio.get_event_loop().create_task(run(i))
        task.add_done_callback(call_back)
        tasks.append(task)
    return await asyncio.gather(*tasks)


if __name__ == '__main__':
    loop = asyncio.get_event_loop()
    done = loop.run_until_complete(main())
    # 循环以及完成任务的协程 获取返回值
    for d in done:
        print('返回值', d)