python多进程多线程介绍，优缺点对比，以及使用场景实例代码
python多进程多线程介绍
多进程的定义描述：
多进程指的是在一个程序中同时执行多个进程的并发执行方式。每个进程有自己独立的内存空间和资源，可以独立运行。多进程执行可以更好地利用多核处理器CPU，提高程序的性能。Python中可以使用multiprocessing模块来实现多进程。
多线程的定义描述：
多线程是指在一个进程内同时执行多个线程的并发执行方式。线程是进程的一部分，共享进程的内存空间和资源。多线程执行可以方便地进行数据共享和通信，但由于Python中的全局解释器锁（GIL）的存在，限制了多线程的并行执行。Python中可以使用threading模块来实现多线程。
python多进程多线程优缺点对比
Python中的多进程和多线程是用于实现并发执行的两种常见方式，它们各自有不同的优点和缺点。下面是对比它们的优缺点以及使用场景的：
多进程的优点：
- 更好地利用CPU多核心：每个进程可以在各自的核心上运行，从而实现并行处理，提高性能。
- 进程之间相对独立：每个进程都有自己的内存空间，避免了多个线程之间的资源竞争问题。
- 可以充分利用操作系统的调度算法：操作系统可以在不同进程之间进行调度，提高了并发性。
多进程的缺点：
- 创建和销毁进程的开销较大：每个进程都需要一定的系统资源，包括内存和CPU时间，创建和销毁进程的开销较大。
- 进程间通信比较复杂：在进程之间进行通信需要使用特殊的机制，如队列、管道等。
多线程的优点：
- 创建和销毁线程的开销较小：线程之间共享进程的资源，创建和销毁线程的开销较小。
- 数据共享更方便：线程之间可以直接共享内存，可以方便地进行数据传递和共享。
- 线程间通信较简单：线程之间可以直接通过共享内存进行通信。
多线程的缺点：
- 全局解释器锁（GIL）：Python中的全局解释器锁限制了多线程的并行执行，在CPU密集型任务上并不能充分利用多核处理器。
下面是一个对比多进程和多线程的优缺点简单概括表格：
| 多进程 | 多线程 | |
|---|---|---|
| 优点 | - 更好地利用CPU多核心 - 进程之间相对独立 - 可以充分利用操作系统的调度算法 |
- 创建和销毁线程的开销较小 - 数据共享更方便 - 线程间通信较简单 |
| 缺点 | - 创建和销毁进程的开销较大 - 进程间通信比较复杂 |
- 全局解释器锁（GIL）限制了多线程的并行执行 |
python多进程多线程使用场景实例代码
Python获取CPU个数：
在Python中，可以使用multiprocessing模块的cpu_count()函数或者os模块的_count()函数来获取CPU的个数。下面是两种方法的代码示例：
使用multiprocessing模块的cpu_count()函数：
import multiprocessing
num_cpus = multiprocessing.cpu_count()
print("CPU个数：", num_cpus)使用os模块的cpu_count()函数：
import os
num_cpus = os.cpu_count()
print("CPU个数：", num_cpus)上述代码中，cpu_count()函数会返回CPU的个数。在大多数情况下，这两种方法应该可以得到相同的结果。
多进程的使用场景示例代码：
import multiprocessing
def worker(n):
print(f'Process {n} executing')
if __name__ == '__main__':
num_processes = multiprocessing.cpu_count()
pool = multiprocessing.Pool(num_processes)
for i in range(num_processes):
pool.apply_async(worker, args=(i,))
pool.close()
pool.join()
多线程的使用场景示例代码：
import threading
import os
def worker(n):
print(f'Thread {n} executing')
if __name__ == '__main__':
#num_threads = 4
num_threads = os.cpu_count() * 2
threads = []
for i in range(num_threads):
t = threading.Thread(target=worker, args=(i,))
threads.append(t)
t.start()
for thread in threads:
thread.join()
请根据具体需求酌情选择多进程或多线程，在CPU密集型任务中，多进程可能更合适，而在I/O密集型任务中，多线程可能更合适。但需要注意，Python中的全局解释器锁会限制多线程的并行执行，因此在涉及CPU密集型任务时，可以考虑使用多线程库如concurrent.futures来实现并发执行。
实际使用场景源码参考：
Python多进程分片下载远端大文件 - multiprocessing paramiko_Entropy-Go的博客-CSDN博客
Python多线程分片下载远端大文件 - threading paramiko_Entropy-Go的博客-CSDN博客