多线程爬虫3

Python并行化介绍

•多个线程同时处理任务

•高效

•快速

map的使用

•map 函数一手包办了序列操作、参数传递和结果保存等一系列的操作。

•from multiprocessing.dummy import Pool

•pool = Pool(4)

•results = pool.map(爬取函数, 网址列表)

你可能感兴趣的:(多线程爬虫3)