python进程、线程、协程
通过学习bi站 蚂蚁学Python 老师视频总结文档，仅用于学习。。。
python进程、线程、协程
-
多线程：threading，利用CPU和IO可以同时执行的原理，不会让CPU干巴巴的等待IO完成
-
多进程：multiprocessing，利用多核CPU的能力，真正的并行执行任务
-
异步IO：asyncio，在单线程利用CPU和IO同时执行的原理，实现函数异步执行
方法：
-
使用Lock对资源加锁，防止冲突访问（锁起来就可以实现有序访问）
-
使用Queue实现不同线程/进程之间的数据通信，实现生产者—消费者模式
-
使用线程池Pool/进程池Pool，简化线程/进程的任务提交、等待结束、获取结果
-
使用subprocess 启动外部程序的进程，并进行输入输出交互
1. CPU密集型计算、IO密集型计算
1.1 CPU密集型(CPU-bound)
CPU密集型也叫计算密集型，是指在I/O在很短的时间就可以完成，CPU需要大量的计算和处理，特点是CPU占用率相当高
例如：
- 压缩和解压缩
- 加密解密
- 正则表达式搜索
1.2 IO密集型(I/O-bound)
IO密集型是指是，系统运作大部分的状况是CPU在等I/O (硬盘/内存) 的读/写操作，CPU占用率仍然较低
例如：
- 文件处理程序（大量读写程序）
- 网络爬虫程序（大量网络下载，网络下载占用很长时间）
- 读写数据库程序（网络的读取，网络开销比较多）
2. 多进程、多线程、多协程的对比
2.1 多进程(multiprocessing)
-
优点：可以利用多核CPU并行运算
-
缺点：占用资源最多、可启动数目比线程少
-
适用于：CPU密集型计算
-
一个进程可以启动N个线程
2.2 多线程(threading)
-
优点：相比进程，更轻量级、占用资源少
-
缺点：
- 相比进程，多线程只能并发执行，并不能利用多CPU（GIL）
- 相比协程，启动数目有限制，占用内存资源，有线程切换开销
-
适用于：IO 密集型计算、同时运行的任务数目要求不多
-
一个线程可以启动N个协程
2.3 多协程(Coroutine -> asyncio)
- 优点：内存开销最少、启动协程数量最多
- 缺点：支持的库有限制、代码实现复杂
- 适用于：IO密集型计算、需要超多任务运行、但有现成库支持的场景
3. Python 的GIL
python慢的原因
- 动态类语言，边解释边执行
- GIL的存在导致python无法利用多核CPU并发执行
3.1 GIL是什么
全局解释器锁（Global Interpreter Lock）
是计算机程序设计语言解释器用于 同步线程的一种机制，它使得任何时刻仅有一个线程在执行
即便在多核处理器上，使用GIL的解释器也只允许同一时间执行一个线程。
即使电脑有多核CPU单个时刻也只能使用一个，相比较于并发加速的C++/Java慢很多
3.2 GIL 存在的原因
Python设计初期，为了规避并发问题引入了GIL，现在想去除却去除不掉了
引入GIL的原因:
-
为了解决线程之间数据完整性和状态同步问题
-
Python中对象的管理，是使用引用计数器进行的，引用数为0则释放对象
-
例：线程A和线程B都引用的对象obj，obj.ref_num = 2，假如线程A和线程B都想撤销对obj的引用
-
- GIL的好处：简化了python对共享资源的管理
3.3 规避GIL带来的限制
1、多线程
threading机制 还是有用的，用于IO密集型计算
因为在
I/O（read、write、send、recv、etc.）期间，线程会释放GIL, 实现CPU和IO并行，因此多线程用于IO密集型计算，依然可以大幅度提升速度
但是，多线程用于CPU密集型计算，只会拖慢速度
2、使用
multiprocessing的多进程机制实现并行计算、利用多核CPU优势（为了应对GIL的问题，Python提供了multiprocessing）
3.4 并发与并行
并发：
指的是任务数多余cpu核数，通过操作系统的各种任务调度算法，实现用多个任务“一起”执 行（实际上总有一些任务不在执行，因为切换任务的速度相当快，看上去一起执行而已）
并行：
指的是任务数小于等于cpu核数，即任务真的是一起执行的。
4. 线程
4.1 创建多线程的方法
1、准备一个函数
def my_func(a,b) do_sum(a,b)2、怎样创建一个线程
import threading t = threading.Thread(target=my_func, args=(100,200)) # target 表示要执行的任务(传入函数名)，args表示传入函数的参数3、启动线程
t.start()4、等待结束
t.join()
4.2 单线程与多线程对比
import blog_spider
import threading
import time
# 单线程
def single_thread():
print("single_thread begin")
for url in blog_spider.urls:
blog_spider.craw(url)
print("single_thread end")
# 多线程
def multi_thread():
print("multi_thread begin")
threads = []
for url in blog_spider.urls:
threads.append(
threading.Thread(target=blog_spider.craw, args=(url,))
)
for thread in threads:
thread.start() # 开启线程
for thread in threads:
thread.join() # 等待线程结束
print("multi_thread end")
if __name__ == '__main__':
start = time.time() # 开始时间
single_thread()
end = time.time() # 结束时间
print("single thread cost:", end-start, "seconds") # single thread cost: 8.59098196029663 seconds
start = time.time()
multi_thread()
end = time.time()
print("multi thread cost:", end - start, "seconds") # multi thread cost: 0.82523512840271 seconds
4.3 多线程生产消费模式
4.5 线程池
4.5.1 线程池的原理
线程的生命周期：
新建线程系统需要分配资源、终止线程系统需要回收资源，如果可以重用线程，则可以减去新建/终止的开销
4.5.2 使用线程池的好处
- 提升性能：因为减去了大量新建、终止线程的开销，重用了线程资源；
- 适用场景：适合处理突发性大量请求或需要大量线程完成任务、但实际任务处理时间较短
- 防御功能：能有效避免系统因为创建线程过多，而导致系统负荷过大响应变慢等问题
- 代码优势：使用线程池的语法比自己新建线程执行线程更加简洁