Python多线程辣鸡？那要怎样并行运算呢？

前言

Python在并行运算方面因为GIL（Global Interpreter Lock，全局解释器锁）而饱受诟病，认为Python的多线程其实是伪的，很鸡肋，这里就大致讲解下吧，
在Python的原始解释器CPython中存在着GIL，因此在解释执行Python代码时，会产生互斥锁来限制线程对共享资源的访问，直到解释器遇到I/O操作或者操作次数达到一定数目时才会释放GIL
所以有GIL效果就是：** 一个进程内同一时间只能允许一个线程进行运算 ** （这尼玛不就是单线程吗？）
至于为什么要有GIL？只能说这是个历史遗留问题了，人家发明Python的时候压根就没想到现在居然有多核CPU，甚至多CPU的电脑啊~
再至于为什么GIL没有被优化掉，总是有人家的考虑的，反正Python3也继续了GIL的优良传统，爱用不用，有兴趣的自行搜索GIL吧
我这里尽量用事实说话，直接黑盒测试下常见的几种并行运算方式

正文

测试环境：
电脑：

我的电脑

Python： 2.7.10

我都是使用 multiprocessing 模块进行对比，对比三种常见的使用情况，我分别取名（非官方）：ThreadPool,DummyPool,ProcessPool

引入方式如下：

from multiprocessing.pool import ThreadPool
from multiprocessing.dummy import Pool as DummyPool
from multiprocessing import Pool as ProcessPool

说明： ThreadPool,DummyPool 都是线程池，ProcessPool 是进程池

测试代码如下：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by vellhe 2017/7/1

from multiprocessing.pool import ThreadPool
from multiprocessing.dummy import Pool as DummyPool
from multiprocessing import Pool as ProcessPool

import time

max_range = 10000000


def run(i):
    i = i * i
    # return i # return和不return对进程池运行速度会有比较大影响，不return效率更高


def thread_pool(num):
    p = ThreadPool(num)
    start_time = time.time()
    ret = p.map(run, range(max_range))
    p.close()
    p.join()
    print("thread_pool  %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))


def dummy_pool(num):
    p = DummyPool(num)
    start_time = time.time()
    ret = p.map(run, range(max_range))
    p.close()
    p.join()
    print("dummy_pool   %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))


def process_pool(num):
    p = ProcessPool(num)
    start_time = time.time()
    ret = p.map(run, range(max_range))
    p.close()
    p.join()
    print("process_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))


if __name__ == "__main__":
    for i in range(1, 9):
        thread_pool(i)
        dummy_pool(i)
        process_pool(i)
        print("=====")

测试说明：

通过并行计算max_range次对于i的二次方，没有任何IO操作，纯运算
这里特别说明，由于偶然发现run方法return和不return对ProcessPool会有很大影响，所以前后分别跑了两次

测试结果：

• 没有return:

  
  
  没有return
  
  

  从上图很容易得出以下结论：

  • thread_pool和dummy_pool运行速度几乎没有什么区别，因为都是线程池，而且从实现代码分析，其实dummy_pool就是thread_pool，只是套了一层壳而已
    

    

    DummyPool实现

  • 单线程运行速度比多线程要快，这就是因为python的GIL机制了，一个进程内同一时间只能允许一个线程进行运算，多线程只会让时间白白在线程间切换上了。
    这时有人会说，那python的多线程不就废了，要它何用？
    其实不然，这里只是做了纯运算的实验，没有任何IO，如果是高IO的话情况就不一样了，因为在等待IO完成时会去处理另外的线程，而IO往往耗时较高，所以在一些高IO情况下（如批量处理文件、网络请求、爬虫等）还是可以合理使用python的多线程的

  • 单进程运行比单线程慢，这个也能理解，毕竟开一个线程比开一个进程要简单得多，没有资源分配等乱七八糟的东西

  • 多进程比单进程运行快，这要是不快就奇怪了，毕竟多进程是分散在不同cpu核上跑的，这里和多线程比优势就很明显了，所以一些科学运算想要提升速度就会用多进程策略了

  • 当多进程数够多情况下会超越多线程的速度，原因很简单，多线程并不会因为线程数增多而变快，而多进程却可以，所以超越是必然的

• 有return:

  
  
  

  有return
  
  

  拿这张图对比上面没有return的那张就会发现一些有意思的事情：

  • 有return后单线程和多线程速度几乎一致了，但多进程还是比单进程要快很多，由于我电脑是4核的，所以还能大致看出，4个进程以后速度并没有提升了
  • 有return后总体运算速度都慢了，特别是进程的速度，慢了一倍，这里原因是进程间通信耗时较大，需要把结果return到主进程中，所以做大量运算时尽量避免进程间通信

测试存在IO操作的情况

上面都是纯运算，没有IO，接下来就看看存在IO操作会是什么样吧，代码如下，在循环计算前增加request请求

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by vellhe 2017/7/1
import time
from multiprocessing.pool import ThreadPool
from multiprocessing import Pool as ProcessPool
import requests

max_range = 50


def run(i):
    requests.get("http://www.qq.com")
    for x in range(10000):
        i += i * x
    return i


def thread_pool(num):
    p = ThreadPool(num)
    start_time = time.time()
    ret = p.map(run, range(max_range))
    p.close()
    p.join()
    print("thread_pool  %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))


def process_pool(num):
    p = ProcessPool(num)
    start_time = time.time()
    ret = p.map(run, range(max_range))
    p.close()
    p.join()
    print("process_pool %d, costTime: %fs ret.size: %d" % (num, (time.time() - start_time), len(ret)))


if __name__ == "__main__":
    for i in range(1, 9):
        thread_pool(i)
        process_pool(i)
        print("=====")

测试结果：

IO操作结果

由上图可知:

• 存在IO操作的话，python的多线程才会有用武之地，有效提升了速度
• 存在IO情况下，多进程效率还是会比多线程高很多
• 进程和线程数都是在4个后速度没有再提升了，因为我电脑是4核的

继续追加实验，看看多进程和多线程下CPU使用情况

分别做了好几次实验，惊奇的发现个很神奇的事情，不管开多少个进程或者线程，每次cpu核占用情况都是大致如下：

cpu使用情况

结果并没有出现我想像中的，单进程是一个核占用暴涨，其它核都是休息状，我也解释不了为什么了，难道是multiprocessing有优化？还是系统层做了优化？所以再做了一个实验，没有用任何进程池，直接for循环计算：

#!/usr/bin/env python
# -*- coding: utf-8 -*-
# by vellhe 2017/7/1
import time

max_range = 100000000


def run(i):
    i = i * i
    return i


if __name__ == "__main__":
    start_time = time.time()
    for i in range(max_range):
        run(i)
    print("costTime: %fs" % (time.time() - start_time))

结果居然还是各个核的占用情况几乎是均匀的，所以几乎可以断定，这是系统层的优化了，所以先告一段落吧，以后再继续深究

后语

来个大致总结吧，针对python而言：

• 纯运算情况下单线程比多线程更快
• 多线程在IO操作较多情况下才能很好的发挥作用，但效率还是低于多进程
• 单进程运行比单线程慢，但当多进程数够多情况下会超越单线程的速度
• 多进程比单进程运行快
• 对于多进程而言，有return会比没有return慢很多很多，对于多线程却只会慢一点点
• 【疑惑】不管开多少个进程或者线程，各个核占用情况几乎是均匀的，猜测是系统底层有优化

ps：关于我的疑惑，知道明确结论的大侠们请给我留言，多谢