天啦噜!Python多线程居然是骗人的
Python解释执行原理
我是一个Python线程,我的工作就是解释执行程序员编写的Python代码。
之所以说是解释执行,是因为Python是高级语言,CPU那家伙不认识Python代码,需要运行的时候动态翻译成CPU指令。
我把Python源代码经过“编译”以后,变成了一个个的字节码文件:.pyc,这是一个二进制的文件,人类是看不懂的,只有我才能看懂。
然后我的工作就简单了,不断的取出字节码文件中的“指令”解释执行,直到所有指令都执行完成,我就可以休息了。GIL
后来,多线程编程技术流行了起来,进程里不止我一个线程了,又来了几个新的伙伴。
本以为我们能和平共处,没想到这一来就麻烦了,我们几个各干各的,经常把内存空间搞出问题,也找不到背锅的人。
终于有一天,我实在忍受不了了,召集大家商讨个解决办法。
“小伙伴们,咱们不能再这样各搞各的了,咱们是一个Team,要彼此协作,一个线程可以走的很快,但一群线程在一起才能走的更远呐!”
“老大,你有什么想法你就直说吧”,另一个线程说到。
“要不,咱们加个锁吧!简单快捷,每个线程要执行代码,都得来申请这个锁,申请到了才能执行,否则就得等着”,我说到。
“那什么时候释放呢?”
“要不弄个计数器,每个线程数到100就释放,这样保证别人有机会来执行?”
“那怎么计数呢?每执行一个字节码就计数一次吗?”
“可以,不过也不用那么死板,有些指令比较简单的,很快可以完成,就可以不用计数了”
“好是好,但要是还没数够100,却在执行I/O操作阻塞了,还把锁霸占的话,那不是资源浪费吗?”
我想了想说到:“那就这样,把两种情况结合一下,常规情况下数到100就释放一次锁,但如果遇到阻塞情况,也要提前释放锁,怎么样?”
大伙纷纷点头,达成了一致,随后我们还给这个锁取了一个名字:全局解释器锁GIL。
自从用上了GIL,我们大家伙干活都规矩多了,再也没有出现把公共资源搞坏的情况了。升级版GIL
再后来,多核技术开始兴起了,一个CPU里面可以同时执行多个线程。小伙伴们高兴地把这个消息散播开了。
“老大,现在CPU有多核了,咱们可以一起执行了,可不可以把那个GIL给去掉啊,这样才能利用多核的优势啊。”
“是啊,隔壁Java线程老是嘲笑我们看起来人多,实际只有一个线程在执行”
可说易行难,这么多年我们都是这样工作的,要突然去掉,出了问题谁也不敢负责啊。
“可是老大,现在这个GIL锁不公平”,新来的线程抱怨到。
“哪里不公平了?”
“我准备执行代码,发现锁在你的手里,只好原地等待,等了半天都睡着了,好不容易等到你释放了,操作系统把我给唤醒,准备去申请锁,结果发现又被你抢到了,真是浪费表情”,新的线程满脸委屈。
“是啊,老大,我也发现了,这不是偶发现象,我观察很久了,经常都会发生!频繁被唤醒,却发现白忙活一场,白白浪费CPU资源,大家都怨气很大啊”,另一个线程伙伴也说到。
我有些不好意思,“嗯,这确实是个问题”
“还没完呢”,新来的线程继续说到:“现在按照字节码指令数来统计,但有些指令码简单,有些很复杂,导致同样数到100,有些线程可以运行很久,而有些就运行很快就结束了,也不公平”
小伙伴们提的问题都很重要,看来是时候对GIL进行一次升级了。
经过一阵激烈的讨论,我们改进了原来对GIL,用上了新的策略:不再用计数的方式,改用时间片的方式:每个线程的执行时间片是5000微秒。
为了保证释放GIL后,不被自己马上又抢到,新增了一个锁实现强制线程切换
改进以后,这下总算公平了,各位小伙伴再也没有话说,又可以安心的工作了。结语
Python是一门解释执行的语言,拥有强大的第三方库和跨平台能力,近几年Python焕发了第二春,横扫爬虫、web开发、机器学习等众多领域。
但长期以来,Python最为人诟病的就是它有一把锁:GIL,这把锁让Python无法真正的实现多线程执行,无法利用多核CPU的高性能。
实际上,这个锁跟Python没有半毛钱的关系,而是负责解释执行Python的解释器:CPython的锅。
CPython是用C语言编写的Python解释器,也是最广为使用的Python解释器,一般在没有特殊说明时,说Python指的就是这个CPython解释器。
Python诞生之初,多线程技术还远没有今天这么深入人心,甚至多核CPU也是Python诞生许多年后才出现的。早期的解释器中为了支持多个线程,使用了粗暴的GIL来进行控制,方便简单的同时,也成为了CPython的巨大历史包袱。
在Python3.2之前,Python使用简单的计数法来统计控制每个线程执行的时间。在这之后,引入了更为公平的时间片方式来升级替换。
过去二十年,曾经有许许多多大牛都尝试彻底去除GIL,但都没有完美成功。
虽然Python没能彻底去除GIL,好在,提供了其他几种方式“曲线救国”实现并发:Ctypes 通过编写C语言扩展与Python交互,在C语言层面绕过GIL实现多核利用。
MultiProcess Python提供了MultiProcess,通过多进程的方式绕过GIL
协程 协程又称用户态线程,Python3.4版本后新增了对协程的支持,也是对性能的提升提供了一种选择。
这篇文章用第一人称大白话的方式讲述了GIL在CPython解释器中的工作原理,大家都理解了吗?欢迎留言交流~
天啦噜!Python多线程居然是骗人的 相关文章
Python学习第十天
异常处理 Python提供了异常处理机制,可以在异常出现时及时捕获,并且进行处理。 单个except结构 try: a = int(input('请输入第一个整数: ')) b = int(input('请输入第二个整数: ')) result = a / b print('结果是', result)except ZeroDivisionError: print
创建线程的方式一:继承Thread类
1 package day2_3; 2 3 /** 4 * 多线程的创建,方式一:继承与Thread类 5 * 1.创建一个继承于Thread类的子类 6 * 2.重写Thread类的run() ----将此线程执行的操作声明在run()方法中 7 * 3.创建子类对象 8 * 4.通过子类对象调用start() 9 *10 * 例子:打印100
Python中的字典
字典 字典是映射的一种体现 映射是表示一种键(索引)和值(数据)之间的对应 键值对:键是数据索引的拓展 字典是键值对的集合,键值对之间没有顺序 键值对采用大括号{}和dict()创建,键值对内部用冒号:表示 {键1:值1,键2:值2,......,键n:值n} 在字典变
创建线程的方式一:实现Runnable接口
1 package day2_4; 2 3 /** 4 * 创建线程的方式二:实现Runnable接口 5 * 1.实现Runnable接口,并实现其抽象方法run() 6 * 2.创建这个实现类的对象 7 * 3.将这个是实现类对象作为参数传递到Thread类的构造器中,并创建Thread类的对象 8 * 4.调用Thread类的sta
用Python实现粒子群算法(PSO)
粒子群算法是一种基于鸟类觅食开发出来的优化算法,它是从随机解出发,通过迭代寻找最优解,通过适应度来评价解的品质。 From 《An Improved PSO Algorithm to Optimize BP Neural Network》 PSO算法的搜索性能取决于其全局探索和局部细化的平衡,这在很大程
python2中 print()中文乱码怎么办
python内部使用的是unicode编码,而外部会用到各种编码,中国最常用utf-8。 python默认会认为源代码文件是ascii编码,ascii编码中不存在中文,遇到中文会抛出异常。 一、声明utf-8编码格式 此时需要在头部声明utf-8编码格式,常用声明方法有这么3种 # coding
Python中的序列
序列(包括字符串,元组,列表类型) 序列是一维元素所组成的向量,元素的类型可以不同 序列指的是一块可以存放多个值的连续内存空间,可以通过每个值所在位置的编号(索引)来进行访问,类似于数学中的序列:\(S_{0},S_{1},S_{2},S_{3},......S_{n-1}\) 序
python3 如何识别实现RSA加解密 MD5withRSA/SHA1withRSA/SHA256withRSA签名
首先我们来看Java中的 MD5withRSA 签名 JAVA private static final String SIGNATURE_ALGORITHM = "MD5withRSA"; private static final String SIGNATURE_ALGORITHM = "MD5withRSA"; 一、python实现MD5withRSA 签名 from Crypto.PublicKey import RSAfrom Cr
python之多态和多态性
多态和多态性 import abc#多态#多态是指一类事物有多种形态,比如动物类,可以有猫,狗,猪等等。(一个抽象类有多个子类,因而多态的概念依赖于继承)class Animal(metaclass=abc.ABCMeta): #同一类事物:动物 @abc.abstractmethod def talk(self): passcla
python自动拆分某个文件下的某个excel,按照一定数量去拆分为对个excel
#!/usr/bin/env python # -*- coding:utf-8 -*- import xlrd from pyexcelerate import Workbook import os """ excel 文件拆分 1、指定源文件路径 2、指定拆分行数大小 3、输出累计金额和每个文件累计金额 """ # 读取源excel所有行,不提取首行 def getRows