协程
又称微线程(纤程),是一种用户态的轻量级线程
子程序
在所有的语言中都是层级调用的,比如A中调用B,B在执行过程中调用C,C执行完返回,B执行完返回,最后是A执行完毕。这是通过栈实现的,一个函数就是一个执行的子程序,子程序的调用总是有一个入口、一次返回,调用的顺序是明确的
理解协程
线程是系统级别的,它们是由操作系统调度。
协程是程序级别的,由程序员根据需求自己调度。
我们把一个线程中的一个个函数称为子程序,那么一个子程序在执行的过程中可以中断去执行别的子程序,这就是协程。
也就是说同一个线程下的一段代码1执行执行着就中断,然后去执行另一段代码2,当再次回来执行代码1时,接着从之前的中断的位置继续向下执行
优点
a、协程极高的执行效率。
因为子程序切换不是线程切换,而是由程序自身控制,因此,没有线程切换的开销,和多线程比,线程数量越多,协程的性能优势就越明显。
b、不需要多线程的锁机制。
因为只有一个线程,也不存在同时写变量冲突,在协程中控制共享资源不加锁,只需要判断状态就好了,所以执行效率比多线程高很多。
缺点
a、无法利用多核CPU,协程的本质是单个线程,它不能同时将多个CPU的多个核心使用上,失去了标准线程使用多CPU的能力。
b、进行阻塞操作(操作IO)会阻塞整个程序
前言
python由于GIL(全局锁)的存在,不能发挥多核的优势,其性能一直饱受诟病。然而在IO密集型的网络编程里,异步处理比同步处理能提升成百上千倍的效率
IO密集型就是磁盘的读取数据和输出数据非常大的时候
由于IO操作的运行时间远远大于cpu、内存运行时间,所以任务的大部分时间都是在等待IO操作完成,IO的特点是cpu消耗小,所以,IO任务越多,cpu效率越高,当然不是越多越好,有一个极限值。
同步
指完成事务的逻辑,先执行第一个事务,如果阻塞了,会一直等待,直到这个事务完成,再执行第二个事务,顺序执行
异步
是和同步相对的,异步是指在处理调用这个事务的之后,不会等待这个事务的处理结果,直接处理第二个事务去了,通过状态、通知、回调来通知调用者处理结果
1、概述
asyncio模块
是python3.4版本引入的标准库,直接内置了对异步IO的操作
编程模式
是一个消息循环,我们从asyncio模块中直接获取一个EventLoop的引用,然后把需要执行的协程扔到EventLoop中执行,就实现了异步IO
说明
到目前为止实现协程的不仅仅只有asyncio,tornado和gevent都实现了类似功能
关键字的说明
关键字 | 说明 |
---|---|
event_loop | 消息循环,程序开启一个无限循环,把一些函数注册到事件循环上,当满足事件发生的时候,调用相应的协程函数 |
coroutine | 协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象。协程对象需要注册到事件循环,由事件循环调用 |
task | 任务,一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含了任务的各种状态 |
async/await | python3.5用于定义协程的关键字,async定义一个协程,await用于挂起阻塞的异步调用接口 |
Task,是 python 中与事件循环进行交互的一种主要方式。
创建 Task,意思就是把协程封装成 Task 实例,并追踪协程的 运行 / 完成状态,用于未来获取协程的结果。
Task 核心作用: 在事件循环中添加多个并发任务;
具体来说,是通过 asyncio.create_task() 创建 Task,让协程对象加入时事件循环中,等待被调度执行。
**注意:**Python 3.7 以后的版本支持 asyncio.create_task() ,在此之前的写法为 loop.create_task() ,开发过程中需要注意代码写 法对不同版本 python 的兼容性。
需要指出的是,协程封装为 Task 后不会立马启动,当某个代码 await 这个 Task 的时候才会被执行。
当多个 Task 被加入一个 task_list 的时候,添加 Task 的过程中 Task 不会执行,必须要用 await asyncio.wait()
或 await asyncio.gather()
将 Task 对象加入事件循环中异步执行。
一般在开发中,常用的写法是这样的:
– 先创建 task_list 空列表;
– 然后用 asyncio.create_task() 创建 Task;
– 再把 Task 对象加入 task_list ;
– 最后使用 await asyncio.wait 或 await asyncio.gather 将 Task 对象加入事件循环中异步执行。
import asyncio
async def run(url):
print('异步任务开始')
await asyncio.sleep(2)
print('异步任务结束')
return url
def call_back(f):
print('返回值为:', f.result())
if __name__ == '__main__':
loop = asyncio.get_event_loop() # 创建事件循环
task_list = []
for url in ['百度', '阿里', '京东', '爱奇艺']:
coroutine = run(url)
task = loop.create_task(coroutine) # 创建任务
task.add_done_callback(call_back)
task_list.append(task)
loop.run_until_complete(asyncio.wait(task_list))
asyncio.wait和asyncio.gather的异同
相同:从功能上看, asyncio.wait 和 asyncio.gather 实现的效果是相同的,都是把所有 Task 任务结果收集起来。
不同: asyncio.wait 会返回两个值: done 和 pending , done 为已完成的协程 Task , pending 为超时未完成的协程 Task ,需通过 future.result 调用 Task 的 result ;
而asyncio.gather 返回的是所有已完成 Task 的 result ,不需要再进行调用或其他操作,就可以得到全部结果。
import asyncio
import random
async def run(i):
print('协程开始', i)
await asyncio.sleep(random.randint(1, 5))
print('协程结束', i)
return i
async def main():
tasks = [] # 装当前task任务
for i in range(1, 5):
task = asyncio.get_event_loop().create_task(run(i))
tasks.append(task)
done, pending = await asyncio.wait(tasks)
# 循环以及完成任务的协程 获取返回值
for d in done:
print('返回值', d.result())
if __name__ == '__main__':
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
import asyncio
import random
async def run(i):
print('协程开始', i)
await asyncio.sleep(random.randint(1, 5))
print('协程结束', i)
return i
async def main():
tasks = [] # 装当前task任务
for i in range(1, 5):
task = asyncio.create_task(run(i))
tasks.append(task)
return await asyncio.wait(tasks)
if __name__ == '__main__':
done, pending = asyncio.run(main())
# 循环以及完成任务的协程 获取返回值
for d in done:
print('返回值', d.result())
import asyncio
import random
async def run(i):
print('协程开始', i)
await asyncio.sleep(random.randint(1, 5))
print('协程结束', i)
return i
async def main():
tasks = [] # 装当前task任务
for i in range(1, 5):
task = asyncio.get_event_loop().create_task(run(i))
tasks.append(task)
done = await asyncio.gather(*tasks)
# 循环以及完成任务的协程 获取返回值
for d in done:
print('返回值', d)
if __name__ == '__main__':
loop = asyncio.get_event_loop()
loop.run_until_complete(main())
import asyncio
import random
async def run(i):
print('协程开始', i)
await asyncio.sleep(random.randint(1, 5))
print('协程结束', i)
return i
async def main():
tasks = [] # 装当前task任务
for i in range(1, 5):
task = asyncio.get_event_loop().create_task(run(i))
tasks.append(task)
return await asyncio.gather(*tasks)
if __name__ == '__main__':
loop = asyncio.get_event_loop()
done = loop.run_until_complete(main())
# 循环以及完成任务的协程 获取返回值
for d in done:
print('返回值', d)
import asyncio
import random
async def run(i):
print('协程开始', i)
await asyncio.sleep(random.randint(1, 5))
print('协程结束', i)
return i
def call_back(f):
print('返回值------', f.result())
async def main():
tasks = [] # 装当前task任务
for i in range(1, 5):
task = asyncio.get_event_loop().create_task(run(i))
task.add_done_callback(call_back)
tasks.append(task)
return await asyncio.gather(*tasks)
if __name__ == '__main__':
loop = asyncio.get_event_loop()
done = loop.run_until_complete(main())
# 循环以及完成任务的协程 获取返回值
for d in done:
print('返回值', d)