python 爬取链家数据_用python爬取链家网的二手房信息

题外话:这几天用python做题,算是有头有尾地完成了。这两天会抽空把我的思路和方法,还有代码贴出来,供python的初学者参考。我python的实战经历不多,所以代码也是简单易懂的那种。当然过程中还是遇到了一些问题,也会向大家提供我的解决方案。

用python爬取链家网的二手房信息,我主要用到了bs4中的BeautifulSoup。所以首先我们需要在cmd中输入“pip install beautifulsoup”安装——pip的安装自己搜博客哦。另外我还推荐使用Anaconda2(64位),遇到需要自己设路径的安装库时,可以直接在这个软件内安装你需要的库类。这两种方法比较简单方便。

一、import导入库from bs4 import BeautifulSoup

import urllib2

import time

第一个库是用来从HTML中提取数据(HTML/XML的解析器);第二个库是需要其中的urlopen,用来打开url;第三个库是用来延时的,以防访问过快被封IP。

二、准备工作time.clock()

address = []

flood = []

follow = []

price = []

为程序加入计时器;还有四个空列表,用来放从网页上提取得到的相关信息。adress是房源地址信息;flood是房子的样式;follow是有多少人关注;price是房价。

三、解析网址

假设我们需要爬去杭州萧山区的二手房信息,我们看到一共有二十五页,而每页的网址知识改变了最后的“/pg2”里的数字页码。我们可以这样做:for i in range(1,26):

url = 'https://hz.lianjia.com/ershoufang/xiaoshan/pg'+str(i)+'/'

page = urllib2.urlopen(url)

soup = BeautifulSoup(page)

在for循环中,我们用range(1,26),从第一页至第二十五页,注意range的范围是左闭右合;然后用urllib2.urlopen(url)打开网址,创建beautifulsoup对象。

同样在这个大for循环下,加入下面的代码:for link in soup.find_all('div','address'):

context = link.get_text()

address.append(context)

# for i in address:

#    print address[0]

以前做的时候使用soup.select做的,这次发现用find_all更简单。我们找到div标签下,样式是address的信息;然后用get_text去掉其中的代码部分,选取文本信息;再将文本信息添加至address列表中。

这里需要用到网页的相关知识,我简单介绍一下:网页由HTML(网页结构)、CSS(网页样式)和JavaScript(网页功能)构成。在网页中,我们在某个网页标签(比如将鼠标放在“一室一厅”上)上右击选择“检查”,就可以定位到这个文本在网页代码中的位置。

在下图中,我们可以看到选中右边的title时,左边的黑色圈出来部分被阴影提示。在这里我们会发现我们所需要的文本信息都是放在

……
区域内的;并在“class=样式”下进行内容填充。

网页解析

由此,我们将大for循环写完整,如下:

大for循环下的全部内容

这里我突然发现我的延时并没有用上…写得太匆忙了…只是起到了一个计数的作用。最后那个“print '当前正在抓取第'+str(i)+'页'”是为了方便跑程序的时候看进度,不然未知的等待很浪费时间。

这里之后我还会学习一下用Xpath和正则表达式来做,毕竟是python必学内容。

四、构建数据表,进行信息整合

需要把以上四个房源信息合并到一个数据表中。

用pandas创建数据表

因为得到的每列数据中含有多种讯息,所以我们需要将其进行分列操作。

数据分列操作

这里我觉得代码还是比较容易读的;着重说一下上图中圈出来的红色。如果不加会报错“…6 columns,passed…7columns…”,大概是这样。看报错后的定位大概可以了解到,是因为依据“|”进行分列,可以分为7列,但我只给了六个分列后的标签,所以报错了。

分析最后得到的数据表,也不难发现是因为某些区内的某些别墅类房源的多标签导致的。

最后我们再将这些分列好的数据进行整表:

分列信息进行整表

由于我是做题需要,太多标签行对我来说没有什么意义,所以除了删除未分列前的行,我还删除了有无电梯等列信息。house.drop()里的axis的值可选0或1,表示行或列。

五、保存爬取结果

这样,我们的网页爬取就结束了。接下来是保存成csv结构;建议数据操作时还是以表格形式处理(如果是用excel处理的话),不然保存后只会留下最后一张表…还好我是一边做一边截图放文档里的。

保存成.csv格式

这里需要注意的就是encoding一定要写GBK,utf-8、gbk(xxx)都会导致csv文件中中文乱码问题。

最后依据print是为了和网页上的总房源信息做一个比较,确认爬虫爬完了所有数据。另外温馨提示,这些爬取下来的数据是有重复的,也就是网页有同一条房源信息多次推送罗列的行为。

以上,记录完毕。

你可能感兴趣的:(python,爬取链家数据)