Python案例: 采集糖豆网站的数据内容

前言

嗨喽，大家好呀~这里是爱看美女的茜茜呐

素材、教程、代码、插件安装教程我都准备好了，直接点击此处跳转文末名片领取

环境:

• python 3.8

• pycharm 2022.3专业版

模块:

• requests

第三方模块安装：

requests 是导入数据请求模块，属于第三方模块，

需要在cmd里面或者pycharm终端里面进行安装 pip install requests 安装。

代码实现步骤：

1. 发送请求

2. 获取数据

3. 解析数据

4. 保存数据

采集网站：

代码展示：

（这里网址我就屏蔽啦~你们自行添加或文末名片获取完整代码）

导入数据请求模块

import requests

请求链接

url = 'https:// ******** /mtangdou/home/feed?page=2&num=32&uuid=1672409139172_3256'

伪装

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
}

发送请求

response = requests.get(url=url, headers=headers)

for循环遍历, 键值对取值

for index in response.json()['data']:
    video_id = index['vid'] # videoID
    title = index['title'] # 标题
    print(video_id, title)

字符串格式化方法, 把ID传入到字符串中

    link = f'https://******/mtangdou/video/play?vid={video_id}&uuid='

发送请求获取json数据

    json_data = requests.get(url=link, headers=headers).json()

字典取值 提取播放链接

    play_url = json_data['data']['play_url']
    print(play_url)

伪装请求头

    headers_1 = {
        'Referer': 'http://******/',
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/101.0.0.0 Safari/537.36'
    }

发送请求 获取视频二进制数据

    video_content = requests.get(url=play_url, headers=headers_1).content

数据保存

    with open('video\\' + title + '.mp4', mode='wb') as f:
        f.write(video_content)

尾语

感谢你观看我的文章呐~本次航班到这里就结束啦

希望本篇文章有对你带来帮助 ，有学习到一点知识~

躲起来的星星也在努力发光，你也要努力加油（让我们一起努力叭）。

最后，宣传一下呀~更多源码、资料、素材、解答、交流皆点击下方名片获取呀