python 安居客 爬虫_爬虫学习6：爬取安居客的VR房源信息

公司的VR产品在推广前夕，需要做一个较详细的市场分析报告，我们可以从下面几个步骤来深入探讨：

1、需要展望整个VR的市场规模有多大，从而论证我们需要面对的市场分量，

2、在这个大市场下面，我们面对的细分市场，如何划分，盘子能有多大等等

3、产品自身分析和竞品分析，这个是认识自己和别人的部分，从而认识到自己的核心优势以及相比于其他的比较优劣势。

4、新机会和风险，我们需要从重重竞争者中，开辟出最适合自己产品的细分市场，并认识到我们自定义的细分市场可以营造哪些壁垒，其他竞争者是否容易转型等等。

整个市场分析报告中，主要部分是2和3，2是看清楚自己面对的初步细分市场的成熟度和规模，3是看清楚自己与竞品的市场存量存在多大的差距。无疑，这些都需要数据来支撑。扯得有点远，回归爬虫学习，因为我们需要看VR在房地产市场上的普及度和成熟度，所以我们需要考察线下线上中介平台对VR的支持和了解。这也能从侧面反馈出客户对房地产VR的接受程度。

下面书归正传，开始走拉取安居客房源的深坑之路。

首先我们看安居客的房源列表的代码，发现每个房源信息都包含在一个

模块里，那么我们是否可以直接如图拉取小说的内容一样requests.get()呢？：

我先试着模仿小说爬虫拉取安居客第一页房源列表的数据，敲下如下代码：

运行后的确拉出代码行了，但再运行一次，发现拉出来的是空值。而且安居客会触发预警机制，房源页面无法显示，还蹦出这么一行字：

WTF？这是什么鬼东西！沮丧了一波，好吧，既然你能检测到我在爬你的数据，那说明我还是小白，大神总是有办法绕过这些检测机制的，而且安居客的数据应该也不多么有保护价值，防爬虫的机制应该不难。翻看大神的文章，发现一般网站防止爬虫一般从下列几个路径去实现：

1、服务器限制了UA头(user-agent)，因为我们在直接使用requests.get()的时候，服务器接收不到任何的UA头，那么它就默认你是爬虫，因为正常的网页访问，是一定会带UA头等信息的，这个UA头在哪找呢？如下：

我们通过查看页面加载的network，然后再看js加载项中的headers，我们就能看到最后Request Headers的内容中，有一项即User-Agent。我们把它写入我们的requests语句即可。

2、也有的网站还监测访问频率和ip，那么我们可以让我们的访问频率尽量拟人化，比如100ms才去拉一次数据，ip的话，我们可以用ip池的概念，这个没研究，到时候再深入。

3、还有些网站采取什么验证码、异步加载等等手段来防止爬虫...大神们都已经解决了，以后碰到了再请教吧。(资料来源：https://jingyan.baidu.com/article/ea24bc39c1e777da62b33198.html)

根据上面所述，我们试着这样写：

再试了一下，发现ok了，安居客不会检测到我们爬去数据了哈哈，现在开始爬取数据的历程。

首先老一套，先import我们需要的库，主要是requests和BeautifulSoup库，然后再引入html5lib，这个是BeautifulSoup需要的(报错提示要安装这个...)。然后我们定义一个类，用来包含所有的函数，然后初始化我们最后excel表里的所以度量值。

然后我们准备拉取安居客前10页的房源，我们发现网页上的地址只是改变了‘p’后面的值而已，第一页就是p1，第二页就是p2.那么我们就可以定义一个提供网址的函数UrlChange()，然后我们知道，房源都包含在每个页面上的

标签内，class属性是“list-item”，我们先把这些房源列表抓出来，然后后面再分开处理。

然后我们来定义一个函数，看这个房源到底有没有VR的数据：

这里可以优化部分代码，其实A里面一直都只有一个VrResult值，我们就无需去for ... in A了。直接用A[0]去与None比较即可。不过问题不大。这样我们能找到哪些房源有VR，哪些没有。下面我们开始爬取房源的各项属性和价格。

最后我们就能拉取到安居客房源的大部分房源信息，现在我们再把信息写入xlsx文档中，也就是excel文档中以备用。

最后我们实例化我们设定的class，然后逐步运行其中的函数

看着中间的print被一一打印出来，还是有点小激动~

最开始不知道生成的excel文件去了哪，还以为失败了...后来全盘搜索，发现在python自己放py文件的地方...

啦啦啦，出来啦，打开瞅瞅

开心~，爬取安居客VR房源的数据就这样，照样子，我们也把其他房地产平台的数据爬取下来。今儿就到这