并发

一个场景

在界面编程中，我们往往有很多按钮，当按下某个按钮就触发一个事件。

import time
def btnClicked():
    print "handle click event"
    time.sleep(5)
    print "event handled"

btnClicked()
print "another event happend"

当btnClicked()完成后（5秒后），才打印出"another event happend"，也就是说当按钮按下后，整个界面就被阻塞了，点哪儿都没有用。

线程

解决方案是开一个线程，把这个按钮背后的事件放在这个线程里。

import time
def btnClicked():
    print "handle click event"
    time.sleep(5)
    print "event handled"

from threading import Thread
t = Thread(target=btnClicked)
t.start()
print "another event happend"

我们把按钮触发的事件放在一个线程中执行，这样主程序可以保持active状态

进程

我们也可以开个进程，把一些计算任务扔到新进程上去计算

import multiprocessing
p = multiprocessing.Process(target=btnClicked)
p.start()

GIL

python由于GIL的存在，线程的执行模型被限制为只能在解释器中运行一个线程。所以，python线程不适合处理计算密集型任务，而是适合IO密集型的任务。

记住这句话：进程是资源分配的基本单位，线程是资源调度的基本单位

线程间通信

我们用queue.Queue来实现线程间的通信

from queue import Queue
from threading import Thread

def producer(out_q):
    n = 10
    while n>0:
        print "produce data {}".format(n)
        out_q.put(n)
        n -= 1
def consumer(in_q):
    while True:
        data = in_q.get()
        print "consume data {}".format(data)
        if data == 1:
            break

q = Queue()

t1 = Thread(target=consumer, args=(q,))
t2 = Thread(target=producer, args=(q,))
t1.start()
t2.start()

上面的代码中，我们有一个生产者一个消费者，生产者生产数据并put进队列，而消费者从队列里面拉出数据并处理。这个例子里面只有一个消费者。当然我们也可以生成几个消费者。

线程池

在某些场景中（比如爬虫），我们有大量的io请求，如果对每个请求都单独开一个线程，很可能会产生无数的线程数，从而耗尽系统资源。更好的方法是，我们先初始化好有一定数量线程对象的线程池，当有任务要处理并且有空余线程时，才在空余线程上跑任务。

from multiprocessing.dummy import Pool as ThreadPool
import urllib2
pool = ThreadPool(5)
urls = ["https://v2ex.com", "https://www.v2ex.com/?tab=play",
        "https://www.v2ex.com/?tab=jobs","https://www.v2ex.com/?tab=tech",
        "https://www.v2ex.com/?tab=creative","https://www.v2ex.com/?tab=deals",
        "https://www.v2ex.com/?tab=city", "https://www.v2ex.com/?tab=qna"]
result = pool.map(lambda url: urllib2.urlopen(url), urls)
print result