Python爬虫-贝壳二手房

前言

本文是该专栏的第3篇,后面会持续分享python爬虫案例干货,记得关注。

本文以某二手房网为例,如下图所示,采集对应城市的二手房源数据。具体思路和方法跟着笔者直接往下看正文详细内容。(附带完整代码)

Python爬虫-贝壳二手房_第1张图片

正文

地址:aHR0cHM6Ly9zei5rZS5jb20vZXJzaG91ZmFuZy8=

目标:采集对应城市的二手房源数据


1. 请求方式和参数分析

浏览器打开目标链接之后,直接F12键启动控制台,并点击控制台右侧的Preserve log。接下来,用鼠标滑到页面底部的翻页按钮处,并随机点击几次翻页按钮。观察控制台右侧的Network下面的Fetch/XHR信息栏。

可以尝试点击2次翻页,右侧控制台会出现两个可疑地址。随机点击一个,并观察其Preview信息,如下图所示:

你可能感兴趣的:(爬虫案例1000讲,python,数据存储,pandas,爬虫)