进程迟和线程池-回调函数

池的概念

为了实现并发，提高程序的运行效率，我们使用了多进程和多线程。但是在开启多线程和多进程的时候，由于机器本身的性能瓶颈不能无限开启，所以我引入池的概念，控制主机能够开启线程（进程）的数量，使系统不会因为开销过大而影响性能。

提交任务的两种方式：

• 同步调用：提交任务完成后就在原地等待，等待任务执行完毕，拿到任务的返回值，才能继续下一行代码，会导致程序串行执行。
• 异步调用+回调机制：提交任务完成后不在原地等待，并发执行，使用异步调用一般会使用到回调函数，会使用回调机制。任务一旦执行完毕，就会触发回调函数进行执行。

进程池示例

简化版本进程池示例

这里演示如何和开启进程池，进程池和线程池的调用方法一样。

# 导入线程池和进程池模块
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
import time, random, os


def task(n):
    print(n, '%s is running' % os.getpid())
    time.sleep(random.randint(1, 3))
    return n


if __name__ == '__main__':
    pool = ProcessPoolExecutor(4)  # 开启进程池，进程池大小为4，允许并发执行4个进程

    for i in range(13):
        pool.submit(task, i)  # 提交任务给线程池,i为tast()中的参数
    pool.shutdown(wait=True)  # 不允许再继续提交任务,即使用submit()方法，并且等待所有的任务都执行完毕后再执行后面的代码
    print('主')

同一时间并发执行4个进程，如果进程数量达到4个，就等待池中的任务退出之后，新的进程再继续加入。

对于进程池，一般设置的并发连接数不要超过CPU核心数量的两倍，对于线程池的大小可以通过测试获取一个合理的范围。

如果在提交任务的时候使用同步调用：

pool.submit(task,i).result() 
# 等待每一次任务运行的结果，拿到结果后再进行下一步操作，相当于串行

使用回调函数

# 导入线程池和进程池模块
from concurrent.futures import ThreadPoolExecutor, ProcessPoolExecutor
import time, random, os


def task(n):
    print(n, '%s is running' % os.getpid())
    time.sleep(random.randint(1, 3))
    return n


def handle(res):
    res = res.result()  # 通过对对象使用result()方法，获取结果
    print('handle res %res' % res)


if __name__ == '__main__':
    pool = ProcessPoolExecutor(2)  # 开启进程池，进程池大小为2，允许并发执行4个进程

    for i in range(6):
        obj = pool.submit(task, i)
        obj.add_done_callback(handle)  # 使用回调函数,将执行的结果对象传给handle()函数，执行此步会等待任务执行完后获取对象

    pool.shutdown(wait=True)  # 不允许再继续提交任务,即使用submit()方法，并且等待所有的任务都执行完毕后再执行后面的代码
    print('主')

使用回调函数是程序解耦合，避免了将生产数据和消费数据的功能紧耦合在一起。

阻塞和同步调用的区别

• 阻塞： 阻塞表示线程在遇到IO操作时，会被剥夺CPU的执行权限，时程序在原地等待。
• 同步调用： 程序在执行时，需要等待最终的结果才能进行下一步操作，在等待的过程中，可以是非阻塞的状态（计算型任务），也可能会遇到阻塞（IO操作）

线程池实现爬虫示例

这里使用requests 模块实现爬虫，相关用法：

from concurrent.futures import ThreadPoolExecutor
import requests

def get(url):
    response=requests.get(url)    # 模拟浏览器，向站点发送请求
    print(response.status_code)   # 获取状态码
    print(response.text)          # 获取网页内容

get('http://www.baidu.com')

示例代码：

from concurrent.futures import ThreadPoolExecutor
import requests
import time
from threading import current_thread

def get(url):
    print('get %s  %s' %(current_thread().getName(),url))
    response = requests.get(url)  # 模拟浏览器，向站点发送请求
    time.sleep(2)

    if response.status_code == 200:  # 获取状态码
        return {'url': url, 'content': response.text}


def parse(res):      # 对爬取的内容进行格式化
    res=res.result()
    print('parse:[%s] res:[%s]' %(res['url'], len(res['content'])))


if __name__ == '__main__':
    pool = ThreadPoolExecutor(2)  # 如果不设定线程数量，默认是CPU核数的5倍
    urls = [
        'https://baidu.com',
        'https://baidu.com',
        'https://www.baidu.com',
        'https://www.baidu.com',
        'https://www.baidu.com',
        'https://www.baidu.com',
        'https://www.baidu.com',
        'https://www.baidu.com',
        'https://www.baidu.com'
    ]

    for url in urls:
        pool.submit(get, url).add_done_callback(parse)  # 回调parse,将结果传给parse
    pool.shutdown(wait=True)