分布式爬虫之房天下实战（一）

这里我们的目标是爬取全国所有城市的新房和二手房的信息，所以这里我们的目标网站就选用了房天下网站，域名：https://www1.fang.com/
首先先分析网页，观察新房和旧房之间的url地址规律

发现规律如下：

这里以城市安庆为例：
安庆的url地址: https://anqing.fang.com/
新房url地址: https://anqing.newhouse.fang.com/house/s/
二手房url地址： https://anqing.esf.fang.com/

其他地方房价的url地址规律都和'安庆' 的一样, 但有一个城市比较特别，那就是我们的首都北京：
	北京的新房url地址链接： https://newhouse.fang.com/house/s/
	二手房链接：https://esf.fang.com/

所以，以上就是我们二手房的所有规律了。

实现步骤

因为爬取的数量比较大，所以使用scrapy_redis组建成分布式爬虫,但是要想运行一个分布式爬虫，首先得能够在单机爬虫上运行起来，所以我们先在scarpy框架上创建一个普通的爬虫，继承的类为scrapy.Spider，start_url就以全国城市所有初始链接的域名网站:添加链接描述

创建之后的目录为：

这样一个初始的模板就完成了。