python并发编程 协程_Python并发编程之协程

一 什么是协程

协程就是指在单个线程的情况下不断的切换执行任务以达到并发的效果,这样可以大大降低对系统资源的消耗.

需要强调的是：

1. python的线程属于内核级别的，即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行)

2. 单线程内开启协程，一旦遇到io，就会从应用程序级别(而非操作系统)控制切换，以此来提升效率(！！！非io操作的切换与效率无关)

优点如下：

1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级

2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程

2. 协程指的是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

总结协程特点：

必须在只有一个单线程里实现并发

修改共享数据不需加锁

用户程序里自己保存多个控制流的上下文栈

一个协程遇到IO操作自动切换到其它协程(如何实现检测IO，yield、greenlet都无法实现，就用到了gevent模块(select机制))

二 greenlet模块

greenlet模块可以实现在单线程下进行多任务切换

代码：

from greenlet importgreenletdefeat(name):print('%s eat 1' %name)

g2.switch('harry')print('%s eat 2' %name)

g2.switch()defplay(name):print('%s play 1' %name)

g1.switch()print('%s play 2' %name)

g1=greenlet(eat)

g2=greenlet(play)

g1.switch('harry')

greenlet只是提供了一种比generator更加便捷的切换方式，当切到一个任务执行时如果遇到io，那就原地阻塞，仍然是没有解决遇到IO自动切换来提升效率的问题。

单线程里的这20个任务的代码通常会既有计算操作又有阻塞操作，我们完全可以在执行任务1时遇到阻塞，就利用阻塞的时间去执行任务2。。。。如此，才能提高效率，这就用到了Gevent模块。

三  gevent模块

event是一个第三方库，需要单独安装，他是以C扩展模块形式接入Python的轻量级协程

用法：

g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1，spawn括号内第一个参数是函数名，如eat，后面可以有多个参数，可以是位置实参或关键字实参，都是传给函数eat的

g2=gevent.spawn(func2)

g1.join() #等待g1结束

g2.join() #等待g2结束

#或者上述两步合作一步：gevent.joinall([g1,g2])

g1.value#拿到func1的返回值

模拟I/O阻塞实现多任务切换

import gevent

from gevent import monkey

def eat(name):

print('%s eat 1' %name)

gevent.sleep(3)

print('%s eat 2' %name)

def play(name):

print('%s play 1' % name)

gevent.sleep(4)

print('%s play 2' % name)

g1 = gevent.spawn(eat, 'harry')

g2 = gevent.spawn(play, 'harry')

g1.join()

g2.join()

上例gevent.sleep(2)模拟的是gevent可以识别的io阻塞,

而time.sleep(2)或其他的阻塞,gevent是不能直接识别的需要用下面一行代码,打补丁,就可以识别了

from gevent import monkey;monkey.patch_all()必须放到被打补丁者的前面，如time，socket模块之前

或者我们干脆记忆成：要用gevent，需要将from gevent import monkey;monkey.patch_all()放到文件的开头

gevenet实现网络爬虫

import gevent

from gevent import monkey

from urllib.request import urlopen

import time

monkey.patch_all()

def f(url):

print('GET:%s' %url)

resp = urlopen(url)

data = resp.read()

print('%s bytes received from %s' %(len(data),url))

start_time = time.time()

gevent.joinall([

gevent.spawn(f,'http://www.xiaohua100.cn/'),

gevent.spawn(f,'https://www.jd.com'),

gevent.spawn(f,'https://www.taobao.com/'),

])

print(time.time() - start_time)

gevent实现socket通信

server端

importgeventfrom gevent importmonkey

monkey.patch_all()from socket import *

defcommunicate(conn):print(conn)whileTrue:try:

data= conn.recv(1024)if not data:breakconn.send(data.upper())exceptConnectionResetError:breakconn.close()defmy_server(ip, port):

server=socket(AF_INET, SOCK_STREAM)

server.bind((ip, port))

server.listen(5)whileTrue:print('server')

conn, addr=server.accept()

gevent.joinall([gevent.spawn(communicate, conn, )])if __name__ == '__main__':

my_server('127.0.01',8080)

client端

from socket import *

from threading importThread,currentThreaddefclients():

client=socket(AF_INET, SOCK_STREAM)

client.connect(('127.0.0.1',8080))

client.send(('%s hellow' % currentThread().getName()).encode('utf-8'))

data= client.recv(1024)print(data.decode('utf-8'))

client.close()if __name__ == '__main__':for i in range(500):

t= Thread(target=clients)

t.start()