线程池爬虫实战,只需这一篇就教能会你!

文章目录

    • 1、概述
    • 2、实例

1、概述

高性能异步爬虫

目的:在爬虫中使用1异步实现高性能的数据爬取操作。

异步爬虫的方式:

  • 多线程,多进程(不建议):
    好处:可以为相关阻塞的操作单独开启线程或进程,阻塞操作就可以异步执行。
    弊端:无法无限制的开启多线程或者多进程
  • 线程池、进程池(适当的使用):
    好处:我们可以降低系统对进程或者线程创建和销毁的一个频率,从而很好的降低系统的开销。
    弊端:池中线程或进程的数量是有上限的。

2、实例

下面我们使用线程池爬取梨视频讲解

线程池爬虫实战,只需这一篇就教能会你!_第1张图片

线程池爬虫实战,只需这一篇就教能会你!_第2张图片

线程池爬虫实战,只需这一篇就教能会你!_第3张图片

线程池爬虫实战,只需这一篇就教能会你!_第4张图片
我们直接拿到这三个div标签的父标签下的所有a标签然后遍历

a_list = div_data.find(class_="vervideo-blist-bd recommend-btbg clearfix").find_all("a")

但是这些a标签中不仅只有视频url,所以遍历的时候我们需要进行判断
线程池爬虫实战,只需这一篇就教能会你!_第5张图片

if str(a["href"]).split("_")[0] == "video":
	#获取的url不是完整的,我们需要拼接
    page_url = "https://www.pearvideo.com/" + a["href"]
else:
    continue

接下来,我们对详情页发起请求,获取到真正视频的URL
线程池爬虫实战,只需这一篇就教能会你!_第6张图片

我们可以发现,视频url就是video标签的src属性,但经过博主实践后发现,这是骗人的
线程池爬虫实战,只需这一篇就教能会你!_第7张图片
一番研究后发现,真正的视频URL在页面源码的script

在这里插入图片描述
这样看来需要使用正则来获取了

ex = 'srcUrl="(.*?)",vdoUrl'
#获取的数据是列表形式,并且只有一个元素就是视频url
video_url = re.findall(ex, page_response.text)[0]

然后就是视频下载了

 #对视频发起请求获取二进制数据
data = requests.get(dic["url"],headers=headers).content
with open(dic["name"],"wb") as f:
    f.write(data)

当然我们使用的是线程池的方式

pool = Pool(4)
pool.map(Download_video,urls)

pool.close()  #关闭
pool.join() #让主线程等待子线程结束之后再结束

map(func, *iterables, timeout=None, chunksize=1):该函数类似于全局函数 map(func, *iterables),只是该函数将会启动多个线程,以异步方式立即对 iterables 执行 map 处理。

花费时间如下,由于今天网速不咋滴,看起来还是很慢的,给位小伙伴可以自己去运行试试。
在这里插入图片描述


博主会持续更新更多优质文章,有兴趣的小伙伴可以点赞、关注和收藏下哦,你们的支持就是我创作最大的动力!

更多博主开源爬虫教程目录索引(宝藏教程,你值得拥有!)

本文源码获取可关注公众号,回复线程池爬虫即可获取

线程池爬虫实战,只需这一篇就教能会你!_第8张图片

你可能感兴趣的:(Python爬虫,python,多线程,爬虫,线程池)