【python】带你采集hy小姐姐跳舞~

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

又到了学Python时刻~

---

---

环境使用:

• Python 3.8 解释器

• Pycharm 编辑器

---

模块使用:

• requests >>> 数据请求 第三方模块 pip install requests <工具>

• re <正则表达式模块>

---

如果安装python第三方模块:

1. win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车

2. 在pycharm中点击Terminal(终端) 输入安装命令

---

基本思路流程: <通用模板>

一. 数据来源分析

• 分析视频内容数据在什么地方

1. 开发者工具抓包分析 <重要> 做爬虫必备的工具

• F12 或者 鼠标右键点击检查 刷新网页

• 通过开发者工具 搜索 m3u8 找到 getMomentContent <视频标题 以及 视频播放链接>

二. 代码实现步骤过程 <基本四大步骤>

1. 发送请求, 对于刚刚分析得到url地址发送请求 <模拟浏览器发送请求>

2. 获取数据, 获取服务器返回响应数据 —> 开发者工具当中所看到 response

3. 解析数据, 提取我们想要视频标题, 以及 视频播放链接

4. 保存数据, 把视频保存到本地

---

代码

#导入数据请求模块 --> 第三方模块 <手机第三方APP> 需要在cmd里面或者pycharm终端里面 pip install requests
import requests
# 导入正则模块 --> 内置模块 需要安装
import re

for page in range(2, 501):
    print(f'正在采集第{page}页数据内容')

    # headers伪装 --> 开发者工具里面可以直接复制
    headers = {
        # user-agent 用户代理 表示浏览器基本身份标识
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }

    # 发送请求
    html_data = requests.get(url=link, headers=headers).text

解析数据 提取视频ID

匹配数据 --> re.findall(‘匹配的数据<什么数据>’, ‘数据源<什么地方>’)

从 html_data 里面 去匹配

这段数据内容, 其中 ID数字是我们要的数据

\d+ 匹配多个数字

    video_id_list = re.findall('
', html_data)
    # for循环遍历
    for video_id in video_id_list:

发送请求

对于刚刚分析得到url地址发送请求 <模拟浏览器发送请求>

headers --> 请求头 伪装

• 对于反爬不严重的网站, 不加headers伪装, 一样可以得到数据

• 建议添加headers伪装

• 采集多个视频内容

分析请求参数变化

链接问号后面的内容 属于查询参数

获取所有视频ID 获取所有视频内容了

获取数据

获取服务器返回响应数据 —> 开发者工具当中所看到 response

表示请求成功

print(response)

• response.text 获取响应文本数据 --> 字符串数据类型

• response.json() 获取响应json字典数据 --> 字典数据类型

<一定要是完整json数据格式>

解析数据

提取我们想要视频标题, 以及 视频播放链接

返回得到数据 --> 字典数据类型

字典取值方式 --> 键值对取值: 根据冒号左边的内容[键], 提取冒号右边的内容[值]

        # 提取标题
        title = response.json()['data']['moment']['title']
        # 提取播放链接
        video_url = response.json()['data']['moment']['videoInfo']['definitions'][0]['url']
        # 4. 保存数据 --> 发送请求 + 获取数据 二进制数据内容
        video_content = requests.get(url=video_url, headers=headers).content
        # 保存数据 video 手动创建文件夹 'video\\' + title + '.mp4' 保存文件路径以及文件名  mode='wb' 保存方式 二进制保存
        with open('video\\' + title + '.mp4', mode='wb') as f:
            # 写入数据
            f.write(video_content)
        print(title)
        print(video_url)

效果

文章看不懂，我专门录了对应的视频讲解，本文只是大致展示，完整代码和视频教程点击下方蓝字

点击 蓝色字体 自取，我都放在这里了。

尾语

感谢你观看我的文章呐~本次航班到这里就结束啦

希望本篇文章有对你带来帮助 ，有学习到一点知识~

躲起来的星星也在努力发光，你也要努力加油（让我们一起努力叭）。

最后，博主要一下你们的三连呀（点赞、评论、收藏），不要钱的还是可以搞一搞的嘛~

不知道评论啥的，即使扣个6666也是对博主的鼓舞吖 感谢