python房地产爬虫_房产中介网站爬虫实战(Python BS4+多线程)(一)

本系列文章介绍了爬取链家和搜房网(房天下)数据的方法。

房产中介网站爬虫实战(Python BS4+多线程)(一)

房产中介网站爬虫实战(Python BS4+多线程)(二)

房地产市场向来是大数据分析的“重灾区”,它的数据易获得,且对每个人都有切肤之痛,所以无论是数据分析的菜鸟还是老鸟都纷纷投入其中,渴望着用大数据来改变自己的下半辈子生活。

鉴于本人没有买房需求,就只爬租房的数据了。

链家网有两种查看房屋列表的方式:一是列表,二是地图,如下图所示。前者只显示100页,每页20条,后者以我的技术爬不下来。然而前者的问题被我解决,因此通过前者的途径进行爬取。

链家网在搜房的时候是二层结构,第一层是列表,可以爬取到每一个房子的唯一链接;第二层是访问这个链接,以爬取各房子的详细信息。

所以我采取的策略是先把所有的链接都爬下来,再依次去爬获取房屋信息。

如图,明明有12000+条的房源,却只显示2000条(100页×20条)。

实际页数已经到700页,然而页尾的页数仍然显示100

由此得到判断一共页码数的计算公式:总房源数除以20后向上取整,例如上图显示14557套房源,则总页数是728。

注1:在首页获得房源

你可能感兴趣的:(python房地产爬虫)