线程池爬虫实战，只需这一篇就教能会你！

1、概述

高性能异步爬虫

目的：在爬虫中使用1异步实现高性能的数据爬取操作。

异步爬虫的方式：

• 多线程，多进程（不建议）：
  好处：可以为相关阻塞的操作单独开启线程或进程，阻塞操作就可以异步执行。
  弊端：无法无限制的开启多线程或者多进程
• 线程池、进程池（适当的使用）：
  好处：我们可以降低系统对进程或者线程创建和销毁的一个频率，从而很好的降低系统的开销。
  弊端：池中线程或进程的数量是有上限的。

---

2、实例

下面我们使用线程池爬取梨视频讲解

我们直接拿到这三个div标签的父标签下的所有a标签然后遍历

a_list = div_data.find(class_="vervideo-blist-bd recommend-btbg clearfix").find_all("a")

但是这些a标签中不仅只有视频url，所以遍历的时候我们需要进行判断

if str(a["href"]).split("_")[0] == "video":
	#获取的url不是完整的，我们需要拼接
    page_url = "https://www.pearvideo.com/" + a["href"]
else:
    continue

接下来，我们对详情页发起请求，获取到真正视频的URL

我们可以发现，视频url就是video标签的src属性，但经过博主实践后发现，这是骗人的

一番研究后发现，真正的视频URL在页面源码的script中

这样看来需要使用正则来获取了

ex = 'srcUrl="(.*?)",vdoUrl'
#获取的数据是列表形式，并且只有一个元素就是视频url
video_url = re.findall(ex, page_response.text)[0]

然后就是视频下载了

 #对视频发起请求获取二进制数据
data = requests.get(dic["url"],headers=headers).content
with open(dic["name"],"wb") as f:
    f.write(data)

当然我们使用的是线程池的方式

pool = Pool(4)
pool.map(Download_video,urls)

pool.close()  #关闭
pool.join() #让主线程等待子线程结束之后再结束

map(func, *iterables, timeout=None, chunksize=1)：该函数类似于全局函数 map(func, *iterables)，只是该函数将会启动多个线程，以异步方式立即对 iterables 执行 map 处理。

花费时间如下，由于今天网速不咋滴，看起来还是很慢的，给位小伙伴可以自己去运行试试。

---

博主会持续更新更多优质文章，有兴趣的小伙伴可以点赞、关注和收藏下哦，你们的支持就是我创作最大的动力！

更多博主开源爬虫教程目录索引（宝藏教程，你值得拥有！）

本文源码获取可关注公众号，回复线程池爬虫即可获取