Python协程与异步编程简述

前言

Python作为一门脚本语言，经常用于IO密集型的场合，所以，对于异步编程就有所要求。在Python里，处理多任务有三种方式：1.多线程 2.多进程 3.协程。 多线程是轻量级的多任务方式，但是由于GIL（全局解释器锁）导致其在Cpython下性能不能发挥出来，而且虽然有GIL，多线程也是有着线程安全的问题。而多进程占用的系统资源较多。协程作为一种用户态上下文切换方式的优点就体现出来了，它是轻量级的，比多线程占用的资源更少，但是执行速度却一点不慢。

一、异步与协程

说起异步就不得不说同步，在计算机领域内，**同步指的是如果一个进程在执行一个请求时，如果该请求需要等待一段时间才能返回信息，则改进程则会一直等待下去；异步则是进程不需要一直等待下去，而是转而去执行一些其他的操作。**在生活中异步的概念就相当于，假如你有一个洗衣服的任务，你把衣服准备好，然后放进洗衣机里，洗衣机洗衣服需要30分钟，而这段时间如果你是同步的，则你就站洗衣机旁边等，等它洗完了，然后把衣服拿出来晾干。异步的操作就是，在洗衣机洗衣服的时候，你去洗个碗，拖个地，等到听见“蹬”的一声，衣服洗好了，你再去把它拿出来晾干。
从上面的例子你可以看出，如果我们想异步洗衣服的时候你可以去干其他的事情，这说明，对于这种多任务，多等待（IO操作）的任务，使用异步的方式可以榨干性能。而且，从上面的例子可以看出，在进行异步操作的时候，我们需要保存任务的状态，保证在我们返回查看的任务的时候能返回，即你洗衣服的时候得确认你今天是去自家洗衣机洗的衣服，而不是丢给洗衣店洗的。在Python中，协程就是通过异步操作来实现并发的多任务的方式。

二、协程的实现方式

1.yield

yield方式本质上是一种创建生成器的方式。

import time

def task1():
    while True:
        print("----task1----")
        yield
        time.sleep(1)


def task2():
    while True:
        print("----task2----")
        yield
        time.sleep(1)


def main():
    t_start = time.time()
    for i in range(10000):
        next(task1())
        next(task2())
    t_end = time.time()
    print("时间：%s" % (t_end - t_start))


if __name__ == '__main__':
    main()

2.greenlet

对yield的功能进行了封装，但切换任务的时候需要手动切换，在后面被gevent发扬。此处不赘述，想要了解可以搜索。

3.gevent

对greenlet的功能进行了进一步的封装，在遇到IO操作的时候自动切换任务，缺点是操作必须用自己的模块，后续打了monkey补丁后解决了这个问题。

# gevent实现协程(需要自己下)
import gevent
from gevent import monkey
import time


def task1(n):
    for i in range(n):
        print(gevent.getcurrent(), i)
        time.sleep(1)


if __name__ == '__main__':
    monkey.patch_all()

    gevent.joinall([
        gevent.spawn(task1, 5),
        gevent.spawn(task1, 5),
        gevent.spawn(task1, 5)
    ])

4.asyncio

asyncio是python3以后推荐的协程创建方式。

import asyncio

@asyncio.coroutine
def fun1():
	print(111)
	yield from asyncio.sleep(1)
	print(222)

@asyncio.coroutine
def fun1():
	print(333)
	yield from asyncio.sleep(1)
	print(444)

# 创建事件循环
loop = asyncio.get_event_loop()
# 把任务添加至事件循环中并执行
loop.run_until_complete(fun1())
# python3.5后把上面两句可以合并为 asyncio.run()

5.async + await 关键字

python3.5后更新的方式，比asyncio更加简洁

import asyncio
import time


async def test(n, i):
    for j in range(n):
        print("work%s is runing" % i)
    await asyncio.sleep(1)
    return i


roll_list = [i for i in range(5)]

task = [test(5, i+1) for i in roll_list]

# 创建事件循环，并把把task列表里的任务加到时间循环里执行（asycio.wait()是随机选取一个任务执行的）
asyncio.run(asyncio.wait(task))

在某些第三方模块不支持异步操作时，可以使用异步+线程池/进程池的方式

import asyncio
import concurrent.futures
import time


# 模拟不支持异步的操作
def fun(value):
    time.sleep(1)
    print(value)
    return True


# 异步 + 多线程池
async def main(value):
    loop = asyncio.get_running_loop()

    fut = loop.run_in_executor(None, fun, value)

    result = await fut


list1 = [i**2 for i in range(10)]

task = [main(i) for i in list1]

asyncio.run(asyncio.wait(task))

总结

简单介绍了下Python协程与异步编程，如果想要深入的话可以点赞加评论yo~