爬取央视热榜并存储到MongoDB

1. 环境准备

在开始之前，确保你已经安装了以下Python库：

pip install requests pymongo

2. 爬取网页内容

首先，我们需要爬取央视热榜的网页内容。通过requests.get()方法，我们可以获取网页的HTML内容，并通过re.findall()方法来提取我们感兴趣的部分。

import requests
import re

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (HTML, like Gecko) Chrome/127.0.0.0 Safari/537.36"
}
url = 'https://tv.cctv.com/top/index.shtml?spm=C28340.PdNvWY0LYxCP.EtmP5mypaGE4.11'
res = requests.get(url, headers=headers)
con = res.content.decode("utf8")

在这一步中，我们访问了央视的热榜页面，并将网页内容解码为UTF-8格式。

3. 解析数据

我们使用正则表达式来提取每个榜单的具体内容。通过re.findall()方法，我们可以从HTML中提取出特定的榜单数据。

datas = re.findall(r'
.*?
', con, re.S)

4. 解析每个榜单的数据

我们将热榜分为几个类别，如热播榜、动画片、电视剧、纪录片和特别节目。分别对每个类别的数据进行解析：

result = {
    "热播榜": {"name": "热播榜", "items": []},
    "动画片": {"name": "动画片", "items": []},
    "电视剧": {"name": "电视剧", "items": []},
    "纪录片": {"name": "纪录片", "items": []},
    "特别节目": {"name": "特别节目", "items": []}
}

# 热播榜
items = re.findall(
    r'(.*?)'
    r'

.*?

(.*?)' r'

.*?', datas[1], re.S) for item in items: result["热播榜"]["items"].append({ "img": item[0], "title": item[1], "category": item[2] }) # 动画片 items = re.findall( r'.*?' r'(.*?).*?

.*?' r'.*?.*?

' r'(.*?)

.*?

(.*?)

.*?' , datas[2], re.S ) for item in items: result["动画片"]["items"].append({ "img": item[0], "title": item[2], "category": item[1], "synopsis": item[3] }) # 电视剧 items = re.findall( r'.*?' r'(.*?).*?

.*?' r'.*?.*?

(.*?)' r'

.*?

(.*?)

.*?', datas[3], re.S ) for item in items: result["电视剧"]["items"].append({ "img": item[0], "title": item[2], "episode": item[1], "synopsis": item[3] }) # 纪录片 items = re.findall( r'.*?' r'(.*?)' r'.*?

.*?.*?.*?

' r'(.*?)

.*?

(.*?)

.*?', datas[4], re.S ) for item in items: result["纪录片"]["items"].append({ "img": item[0], "title": item[2], "category": item[1], "synopsis": item[3] }) # 特别节目 items = re.findall( r'.*?' r'(.*?).*?