Python 进程/线程/协程

进程和线程之间的关系：

线程是属于进程的，线程运行在进程空间内，同一进程所产生的线程共享同一内存空间，当进程退出时该进程所产生的线程都会被强制退出并清除。线程可与属于同一进程的其它线程共享进程所拥有的全部资源，但是其本身基本上不拥有系统资源，只拥有一点在运行中必不可少的信息(如程序计数器、一组寄存器和栈)。

线程Threading模块：

import threading

import time

def worker(num):

"""

thread worker function

:return:

"""

time.sleep(1)

print("The num is %d" % num)

return

for i in range(20):

t = threading.Thread(target=worker, args=(i,))

t.start()

Threading用于提供线程相关的操作，线程是应用程序中工作的最小单元。

由于线程之间是进行随机调度，并且每个线程可能只执行n条语句之后，CPU接着执行其他线程。为了保证数据的准确性，引入了锁的概念。threading.RLock和threading.Lock。RLock允许在同一线程中被多次acquire。而Lock却不允许这种情况。 如果使用RLock，那么acquire和release必须成对出现，即调用了n次acquire，必须调用n次的release才能真正释放所占用的琐。

进程multiprocessing模块：

multiprocessing是python的多进程管理包，和threading.Thread类似。

from multiprocessing import Process

def func(name):

print('hello', name)

if __name__ == "__main__":

p = Process(target=func,args=('zhangyanlin',))

p.start()

p.join() # 等待进程执行完毕

协程greenlet模块：

线程和进程的操作是由程序触发系统接口，最后的执行者是系统；协程的操作则是程序员。

协程存在的意义：对于多线程应用，CPU通过切片的方式来切换线程间的执行，线程切换时需要耗时（保存状态，下次继续）。协程，则只使用一个线程，在一个线程中规定某个代码块执行顺序。

import greenlet

def fun1():

print("12")

gr2.switch()

print("56")

gr2.switch()

def fun2():

print("34")

gr1.switch()

print("78")

gr1 = greenlet.greenlet(fun1)

gr2 = greenlet.greenlet(fun2)

print 'go'

gr1.switch() # print: go 12 34 56 78

适用场景：

进程：cpu(计算)密集型。所谓计算密集型任务，是指CPU计算占主要的任务，CPU一直处于满负荷状态。比如在一个很大的列表中查找元素（当然这不合理），复杂的加减乘除等。一些大量循环的代码（例如：图片处理、视频编码、人工智能等）就是CPU密集型。

线程：IO密集型。所谓IO密集型任务，是指磁盘IO、网络IO占主要的任务，计算量很小。比如请求网页、读写文件等。我们在Python中可以利用sleep达到IO密集型任务的目的。

协程：当程序中存在大量不需要CPU的操作时（IO）

python中的进程和线程

Python，特指CPython的实现，由于GIL的存在，CPython不能有效的利用多核处理器。表现为任意时间一个进程只有一个线程在跑，而IO密集型运算，多数是在IO读写将线程堵塞掉了，这个时候线程切换是很合理的，反正线程只是单纯地等待，在这个等待的时候去做其他的事情，资源利用率就上去了。

    多线程：

多线程即在一个进程中启动多个线程执行任务。一般来说使用多线程可以达到并行的目的，但由于Python中使用了全局解释锁GIL的概念，导致Python中的多线程并不是并行执行，而是“交替执行”。

所以Python中的多线程适合IO密集型任务，而不适合计算密集型任务。

Python提供两组多线程接口，一是thread模块_thread，提供低等级接口。二是threading模块，提供更容易使用的基于对象的接口，可以继承Thread对象来实现线程，此外其还提供了其它线程相关的对象，例如Timer，Lock等。

    多进程：

由于Python中GIL的原因，对于计算密集型任务，Python下比较好的并行方式是使用多进程，这样可以非常有效的使用CPU资源。当然同一时间执行的进程数量取决你电脑的CPU核心数。

Python中的进程模块为mutliprocess模块，提供了很多容易使用的基于对象的接口。另外它提供了封装好的管道和队列，可以方便的在进程间传递消息。Python还提供了进程池Pool对象，可以方便的管理和控制线程。

参考： Python进阶：聊聊IO密集型任务、计算密集型任务，以及多线程、多进程