【Python程序开发系列】进程、线程、协程?一文全面梳理多任务并发编程基本概念

这是Python程序开发原创文章,我的第185篇原创文章。

一、多任务

      多任务是指在同一时间内执行多个任务。例如: 现在电脑安装的操作系统都是多任务操作系统,你可以同时运行着多个软件,一边用浏览器上网,一边在听MP3,一边在用Word赶作业。在代码里面,一个程序函数或方法就是一个任务,平时我们写的程序几乎都是单任务的,也就是说一个函数或者方法执行完成 , 另外一个函数或者方法才能执行。多任务就是多个程序函数或方法同时执行

        多任务分为以下两种:

        计算密集型任务:这类任务主要占用cpu资源又叫cpu密集型任务。主要特点是要进行大量的计算,消耗CPU资源,比如计算圆周率、对视频进行高清解码等等。这种任务虽然也可以用多任务完成,但是当任务过多时(超过cpu的核数),花在任务切换的时间就越多,CPU执行任务的效率就越低,所以,要最高效地利用CPU,计算密集型任务同时进行的数量应当等于CPU的核心数。

        IO密集型任务:涉及到网络、磁盘IO的任务都是IO密集型任务,比如网络传输、数据库等调用、爬虫等,这类任务的特点是CPU消耗很少,任务的大部分时间都在等待IO操作完成(存在阻塞),99%的时间花费在IO上(因为IO的速度远远低于CPU和内存的速度)。对于IO密集型任务,任务越多,CPU效率越高,但也有一个限度。常见的大部分任务都是IO密集型任务。

二、多任务的两种表现形式:并行和并发

        并行处理是指计算机系统中能同时执行两个或多个任务的计算方法,并行处理可同时工作于同一程序的不同方面。

【Python程序开发系列】进程、线程、协程?一文全面梳理多任务并发编程基本概念_第1张图片

        并发处理是同一时间段内有几个程序都在一个cpu中处于运行状态,但任一时刻只有一个程序在cpu上运行。

【Python程序开发系列】进程、线程、协程?一文全面梳理多任务并发编程基本概念_第2张图片

        并发的重点在于有处理多个任务的能力,不一定要同时,交替执行(伪并行);而并行的重点在于就是有同时处理多个任务的能力。并行是并发的子集。

        以上所说的是相对于所有语言来说的,Python的特殊之处在于Python有一把GIL锁,这把锁限制了同一时间内一个进程只能有一个线程能使用cpu。

三、多任务的实现方式:并发编程

        并发编程是实现多任务协同处理,改善系统性能的方式。Python中实现并发编程主要依靠一下三种方式:

进程(Process):进程是计算机中的程序关于某数据集合的一次运行实例,是操作系统进行资源分配的最小单位,是操作系统进行资源分配和调度运行的基本单位,通俗理解:一个正在运行的程序就是一个进程。例如:正在运行的qq , 微信等 他们都是一个进程。一个程序运行后至少有一个进程。

线程(Thread):线程被包含在进程之中,是操作系统进行程序调度执行的最小单位。实际上进程只负责分配资源 , 而利用这些资源执行程序的是线程 , 也就说进程是线程的容器 , 一个进程中最少有一个线程来负责执行程序 。同时线程自己不拥有系统资源,只需要一点儿在运行中必不可少的资源,但它可与同属一个进程的其它线程共享进程所拥有的全部资源 。这就像通过一个QQ软件(一个进程)打开两个窗口(两个线程)跟两个人聊天一样 , 实现多任务的同时也节省了资源。具体行为是由内核操作的,什么时候运行什么部分,这个部分运行多长时间,都不受用户控制。

协程(Coroutine):协程是在程序层面操作的,可以控制遇到阻塞的时候候程序该干什么,是用户态执行的轻量级编程模型,由单一线程内部发出控制信号进行调度,而非受到操作系统管理。协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈,直接操作栈则基本没有内核切换的开销,可以不加锁的访问全局变量,所以上下文的切换非常快。

【Python程序开发系列】进程、线程、协程?一文全面梳理多任务并发编程基本概念_第3张图片

        一个进程可以包含多个线程,一个线程可以包含多个协程。一个进程中最少有一个线程来负责执行程序,GIL锁限制了同一时间内一个进程只能有一个线程能使用cpu,因此python中的多线程不能真正同时运行,更适合处理 I/O 密集的场景。而相较于线程,协程没有切换开销和同步锁机制,处理 I/O 密集任务更优。

【Python程序开发系列】进程、线程、协程?一文全面梳理多任务并发编程基本概念_第4张图片

        协程和线程更适合处理 I/O 密集的场景;而对于 CPU 密集的场景来说,多进程、多机器、多处理器才能提高程序的运行速度。

四、并发(编程)与异步(编程)

        并发强调同时(交替同时)执行多个任务的能力和机制,并发编程是指在同一时间段内执行多个任务,这些任务可以是同时执行的(并行),也可以是交替执行的(并发),一般可以通过多线程、多进程来实现。并发编程狭义上指通过多进程和多线程方式实现多任务,广义上包括异步编程,也就是协程。

        异步强调多个任务执行的顺序,指的是一个任务的完成不会阻塞其他任务的执行。异步编程是一种编程模型(即协程),它允许在等待某个操作完成的同时执行其他任务,而不会阻塞程序的执行。通常使用回调、协程、事件循环等机制来实现,它可以在等待 I/O 操作、计算任务等时释放 CPU 的控制权,执行其他任务。异步编程通常是并发编程的一种实现方式,通过异步操作可以实现并发执行多个任务的效果。

本期内容就到这里,我们下期再见!需要数据集和源码的小伙伴关注底部公众号添加作者微信!

作者简介:

读研期间发表6篇SCI数据挖掘相关论文,现在某研究院从事数据算法相关科研工作,结合自身科研实践经历不定期分享关于Python、机器学习、深度学习、人工智能系列基础知识与应用案例。致力于只做原创,以最简单的方式理解和学习,关注我一起交流成长。

你可能感兴趣的:(Python高级语法,python,开发语言)