Python爬取皮皮虾视频

背景:
今天闲着没事做,然后想着刷刷视频,然后发现前段时间学习了一下网络爬虫的一些基本应用,就想着利用爬虫到网上去爬取一点视频来模拟人为的点击“下载操作”。因为皮皮虾是手机端的app,所以就肯定不能把目标放到软件上。所以我们的重点就是下载分享的链接上。我们随便选取一个视频点击分享后发现,我们可以直接复制视频的链接,所以就可以开始了:
1.打开软件随便选取一个视频点击分享,然后将分享的连接在电脑上打开
比如 :https://h5.pipix.com/s/JQaxYVx,
电脑打开之后的链接变成:https://h5.pipix.com/item/6899617878450903300?app_id=1319&app=super×tamp=1606458177&carrier_region=cn®ion=cn&language=zh&utm_source=weixin
Python爬取皮皮虾视频_第1张图片

2.打开开发者选项的模式,进行页面刷新寻找我们需要的请求。我们发现一个带有id的请求非常可疑,随即点开查看了一下具体信息。我们发现在这个次请求的链接中含有与刚请求的链接相同的字段,查看预览发现返回的是 json 格式的文件。

Python爬取皮皮虾视频_第2张图片

Python爬取皮皮虾视频_第3张图片
3.对这个请求我们进行更加详细的探索,点开Preview查看其详情之后发现,这就是我们需要寻找的短视频数据,并且在下面发现了关键字段:Video、Videodownload,并且存在两个资源链接(url_list)。随便打开一个发现就是目标资源。

Python爬取皮皮虾视频_第4张图片Python爬取皮皮虾视频_第5张图片
4.找到我们的目标资源以后就需要我们编写代码进行资源的自动爬取,然后用标题进行文件命名,保存在指定的文件夹中。
Python爬取皮皮虾视频_第6张图片Python爬取皮皮虾视频_第7张图片Python爬取皮皮虾视频_第8张图片
5.总的来说主要是通过链接找到对应的资源链接,利用Json数据格式进行操作,因为这里只是进行一个视频的抓取,其实并没体现爬虫的优越性,如果对大量视频进行下载处理,程序最好使用函数封装的形式爬取,并且还可能需要代理来对付反爬虫技术,有兴趣的可以自己试一试哟。

你可能感兴趣的:(网络爬虫,python)