Python系列爬虫之Scrapy实战 | 爬取并简单分析安居客租房信息

前言

利用Scrapy框架爬取并简单分析安居客租房信息，让我们愉快地开始吧~

开发工具

Python版本：3.6.4

相关模块：

scrapy模块；

pyecharts模块；

以及一些Python自带的模块。

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

原理简介

这依旧是scrapy爬虫框架的一个简单应用，然后加了点数据可视化分析。

首先还是先新建一个爬虫项目：

我们需要爬的网站是：

我选的上海，想爬的信息大概是这些：

先定义一下要爬取的内容(items.py)：

然后随便设置一下(settings.py)：

最后写下我们的爬虫代码(spider.py)：

好的，我们很轻松地写完了我们的爬虫代码。完整爬虫项目详见个人简介获取相关文件。

数据分析

首先让我们来看看想租上海的房子，大概每个月需要多少钱：

把房价除以面积可能更客观一点：

再来看看这些房子的朝向吧：

向南的挺多~

还有住房类型：

源代码见个人简介获取相关文件。