【爬虫实战】用python爬今日头条热榜TOP50榜单！
一、爬取目标
今天分享一期爬虫案例，爬取的目标是：今日头条热榜的榜单数据。
打开今日头条 首页，在页面右侧会看到头条热榜，如下： 
爬取以上6个关键字段，含：
热榜排名,热榜标题,热度值,热榜标签,热榜分类,热榜链接。
开发者模式分析： 
二、爬取结果
爬取结果截图： 
三、代码讲解
首先，导入需要用到的库：
import requests
import pandas as pd
import re
定义一个请求头：（爬取目标较简单，一个User-agent即可）
# 请求头
h1 = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.4 Safari/605.1.15',
}
定义请求地址：
url = 'https://www.toutiao.com/hot-event/hot-board/?origin=toutiao_pc'
用requests发送请求：
# 发送请求
response = requests.get(url, headers=h1)
查看响应码并以json方式接收返回数据：
# 查看响应码
print(r.status_code)
# 接收返回数据
json_data = r.json()
定义一些空列表，用于存放数据：
title_list = [] # 热榜标题
value_list = [] # 热度值
url_list = [] # 热榜链接
category_list = [] # 热榜分类
label_list = [] # 热榜标签
以"热榜标题"字段为例：
for data in json_data['data']:
# 热榜标题
title = data['Title']
print('热榜标题：', title)
title_list.append(title)
其中，热榜链接比较特殊，接口中返回的url很长，形如： 
可以看到，url中从?往后，都是不必要的请求参数。
所以，用正则表达式把?后面的全部删掉，提取出id，再进行拼接url，如下：
# 正则表达式提取出链接id
url3 = re.search(r"(?<=https://www.toutiao.com/trending/)\d+", url2).group(0)
# 拼接链接
url4 = 'https://www.toutiao.com/trending/' + str(url3)
最后，把所有字段存放的列表数据组成Dataframe格式：
# 把列表数据组装成Dataframe数据
df = pd.DataFrame(
{
'热榜排名': range(1, data_num + 1), # 一共50条
'热榜标题': title_list,
'热度值': value_list,
'热榜标签': label_list,
'热榜分类': category_list,
'热榜链接': url_list,
}
)
进一步保存到csv文件里：
# 保存到csv文件
df.to_csv(result_file, header=True, index=False, encoding='utf_8_sig')
以上，核心逻辑讲解完毕。
代码中还含有：解析热度值、热榜标签、热榜分类、热榜链接字段等，详见文末。
四、技术总结
爬取技术流程：
- requests 发送请求
- json 解析数据
- re 正则表达式提取文本
- pandas 保存csv
Python 的迅速崛起对整个行业来说都是极其有利的 ，但“人红是非多”，导致它平添了许许多多的批评，不过依旧挡不住它火爆的发展势头。
如果你对Python感兴趣，想要学习python，这里给大家分享一份Python全套学习资料，都是我自己学习时整理的，希望可以帮到你，一起加油！
有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取
Python全套学习资料
1️⃣零基础入门
① 学习路线
对于从来没有接触过Python的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。
② 路线对应学习视频
还有很多适合0基础入门的学习视频，有了这些视频，轻轻松松上手Python~
③练习题
每节视频课后，都有对应的练习题哦，可以检验学习成果哈哈！
2️⃣国内外Python书籍、文档
① 文档和书籍资料
3️⃣Python工具包+项目源码合集
①Python工具包
学习Python常用的开发软件都在这里了！每个都有详细的安装教程，保证你可以安装成功哦！
②Python实战案例
光学理论是没用的，要学会跟着一起敲代码，动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。100+实战案例源码等你来拿！
③Python小游戏源码
如果觉得上面的实战案例有点枯燥，可以试试自己用Python编写小游戏，让你的学习过程中增添一点趣味！
4️⃣Python面试题
我们学会了Python之后，有了技能就可以出去找工作啦！下面这些面试题是都来自阿里、腾讯、字节等一线互联网大厂，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。
5️⃣Python兼职渠道
而且学会Python以后，还可以在各大兼职平台接单赚钱，各种兼职渠道+兼职注意事项+如何和客户沟通，我都整理成文档了。
上述所有资料 ⚡️ ，朋友们如果有需要的，可以扫描下方二维码免费领取
