R爬取安居客昆山二手房信息及分析

一、爬取数据

        如果直接从总页面按照页数从头到尾爬取,最多只显示50页,每一页60个房源,总共3000个,说明安居客并没有直接全部显示。于是按照区域逐个进行爬取,一共10个大区域,其中玉山的房源较多,又分了5个小区域,总共是14个细分区域。其中一个代码如下。

library(RCurl)

library(XML)

library(stringr)

myheader<-c("User-Agent"="Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36",

"Accept"=" application/json, text/javascript, */*; q=0.01",

"Accept-Language"=" zh-CN,zh;q=0.8",

"Connection"="keep-alive",

"Accept-Charset"="GB2312,utf-8;q=0.7,*;q=0.7"

)

page<-1:50                                                   

base<-"https://ks.anjuke.com/sale/shiqukunshan/p"

pageresults<-data.frame()

for (i in 1:length(page))  {

url<-paste(base,page,"/?from_price=101&to_price=120",sep='')

source<-getURL(url,httpheader=myheader,followlocation=TRUE,encoding="utf-8")

parse <- htmlParse(source)

#标题

a<-getNodeSet(parse,"//div[@class='house-title']/a/@title")

title<-iconv(a,"utf-8")

#面积

info<-sapply(getNodeSet(parse,"//div[@class='details-item']/span/text()"),xmlValue)

mianji<-str_subset(info,"m")

mianji<-str_sub(mianji,end=-3)

#楼层

louceng<-str_subset(info,"层")

#房型

fangxing<-str_subset(info,"[室]")

#时间

shijian<-str_sub(str_subset(info,"建造"),end=-4)

#小区+地段

b<-str_subset(info,"\n")

c<-str_trim(b)

c1<-lapply(strsplit(c,"\n"),function(x){x[1]})

xiaoqu<-str_trim(c1)

c2<-lapply(strsplit(c,"\n"),function(x){x[2]})

diduan<-str_trim(c2)

#价格

d<-getNodeSet(parse,"//span[@class='price-det']/strong/text()")

zongjia<-sapply(d,xmlValue)

e<-getNodeSet(parse,"//span[@class='unit-price']/text()")

e1<-sapply(e,xmlValue)

danjia<-str_sub(e1,end=-5)

#经纪人

jingjiren<-sapply(getNodeSet(parse,"//span[@class='brokername']/text()"),xmlValue)

#链接

f<-getNodeSet(parse,"//div[@class='house-title']/a/@href")

link<-iconv(f,"utf-8")

result<-data.frame(title,mianji,louceng,fangxing,shijian,xiaoqu,diduan,zongjia,danjia,jingjiren,link,stringsAsFactors=FALSE)

}

pageresults <-rbind(pageresults,result)

write.csv(pageresults,"1.csv")

其余区域整体代码相似,在base处将各区域url代入即可。

二、清洗数据

        全部爬完一共有33万的数据,导入Excel进行数据清洗,删除重复数据之后为3万3千条,字段内容检查后并没有缺失,在第一行添加字段名称,清洗后的数据如下所示。

R爬取安居客昆山二手房信息及分析_第1张图片

三、分析数据

        二手房网站上的数据不一定是最终成交价格,因而信息仅供参考。一共是标题、面积、楼层、房型、时间、小区、地点、总价、单价、经纪人及链接共11个字段,以下选择部分字段进行分析。

R爬取安居客昆山二手房信息及分析_第2张图片

        因300平方以上的房源较少,取了300以下的进行分析。最热门的面积位于81-100的区间,其次是121-140101-120两个区间,但分别也只有第一的一半左右,可见小户型房源更受购房者欢迎。

R爬取安居客昆山二手房信息及分析_第3张图片

        取60-200平方这个大区间来分析,末位数是0和5的房源数比较多,基本图中的峰值都对应着85,90,95之类的面积。例外的两个极值:89和143,查看房地产交易政策后发现这两个面积与90、144平米相比意味着更少的税费和首付,交易政策的影响显而易见。

R爬取安居客昆山二手房信息及分析_第4张图片

        位于中层的房源占42%,其次是高层占24%,以及低层房源和别墅分别占17%。

R爬取安居客昆山二手房信息及分析_第5张图片

        三室两厅占据房源总量近1/3,二至四室+两厅的房型占了70%,可见客饭厅分离的房型占据了绝大多数,社交需求以及追求更好的居住体验使得两厅甚至多厅成为一种趋势。

R爬取安居客昆山二手房信息及分析_第6张图片

        1995年前的房源很少,而2010年的房源最多,2011年急剧下降。原因来自当年昆山的限购政策,2010年房价急剧上涨,2011年限购后交易量断崖式下跌,2012年市场回暖,同时今年正好是2012年后的第5年,满五年可以减税,房源数次之。2015年作为满2年减税的年份,同样房源数量可观。由于去年昆山再次限购以及新房税费高的问题,近两年的房源相较而言略少,政策的影响再次得到体现。

R爬取安居客昆山二手房信息及分析_第7张图片

        玉山房源总数占了57%,这也是昆山的主城区,其中市区房源最多,剩余地区房源占比都不足10%。

R爬取安居客昆山二手房信息及分析_第8张图片

        在售房源最多的10个小区全部位于玉山市区,市中心是购房最大的热门。

R爬取安居客昆山二手房信息及分析_第9张图片

        总均价以121-140万101-120万最多,扩大来看80-180万是购房的主力区间,占据了总数的半壁江山。

R爬取安居客昆山二手房信息及分析_第10张图片

        总均价最高的10个小区都是别墅,8个位于城西,其余2个分别在城南和城东,均已经超过1000万,最高达到3000万,相比之下昆山的整体均价(217万)只是一个零头。

R爬取安居客昆山二手房信息及分析_第11张图片

        单价均价的分布可以看到1-1.2万是二手房交易的主力单价,其次是1.2-1.4万以及0.8-1万。

R爬取安居客昆山二手房信息及分析_第12张图片

        单价均价最高的10个小区基本都在昆山均价(15532)的2倍以上。其中除了四个是位于城西的别墅小区外,其余六个都是昆山最好的小学和初中:实小和二中的双学区房,学区房是房地产的第一支柱

R爬取安居客昆山二手房信息及分析_第13张图片

        高达62%的房源是精装修,也不排除部分经纪人为了引人关注而特意如此发布,实际并未达到要求。

R爬取安居客昆山二手房信息及分析_第14张图片

        按区域来看,平均住宅面积前两位分别是淀山湖和巴城,平均单价最高的区域是城西,居住环境良好,楼盘较新,面积也不小,总均价在300万以上。

R爬取安居客昆山二手房信息及分析_第15张图片


R爬取安居客昆山二手房信息及分析_第16张图片

        对60到200平米的房源面积和总价建模,看到面积和总价有明显的线性关系,通过SPSS回归分析得到线性模型为Y=-12.722+1.515X,其中X为面积,Y为总价。

R爬取安居客昆山二手房信息及分析_第17张图片


R爬取安居客昆山二手房信息及分析_第18张图片

        通过SPSS二阶聚类模型对14个区域进行了分类,看到可以大致分成五类:

类型1单价最高,面积最小,年代最久远,对应着昆山市区的房源,老旧狭窄,学区因素影响极大;

类型2单价和面积均较高,年代也很新,对应着城西和花桥,都是近年涨势很猛的区域;

类型3面积最大,年代也最近,包括巴城、城东、淀山湖、锦溪、周庄全部以及城西的少量房源,新建别墅区大部分位于这些区域,价格自然也不低;

类型4价格略低,面积尚可,年代稍久,对应城北区域,综合比较来看这一块是绝大多数新昆山人购房的首选之地;

类型5单价最低,对应着城南、陆家、千灯、张浦和周市一共5块区域,地域偏远、开发不完善以及部分环境问题影响了房价的高企。

R爬取安居客昆山二手房信息及分析_第19张图片

        最后统计了经纪人发布标题中的关键词,用R提取前50个最热门关键字作为词云。

你可能感兴趣的:(R爬取安居客昆山二手房信息及分析)