爬虫入门练习（四）抓取链家网小区信息

声明：本文参考：
对长沙房地产数据的挖掘与分析【一】
对长沙房地产数据的挖掘与分析【二】

本文介绍：
1，抓取目标：URL="http://cs.lianjia.com/xiaoqu/rs/",如下图：

截图00.jpg

点击进入单个小区的详细信息页面，可以看到如下图：
我们抓取的信息包括：1、小区名称，2、小区均价，3，房价参考时间，4、小区地址，5、建成时间，6、建筑类型，7、物业费用，8、物业公司，9、开发商，10、楼栋总数，11、房屋总数

截图01.jpg

3，代码思路：
1）请求并解析目标主页：URL=" http://cs.lianjia.com/xiaoqu/rs/"，获取每个小区名称，链接和ID，并存入MongoDB数据库。
2）访问数据库，获取每个小区的链接，请求并解析，获取目标信息
4，代码如下：

#coding=utf-8
#本代码抓取：小区名称+链接+ID
#coding=utf-8
import requests
from bs4 import BeautifulSoup
from lxml import html
from pymongo import MongoClient
import time

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

client=MongoClient()
dbName='lianjia'
dbTable='xiaoqu'
tab=client[dbName][dbTable]

def get_urls(url):
    urls=[]
    titles=[]
    headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            'Accept-Encoding': 'gzip, deflate, sdch',
            'Accept-Language': 'zh-CN,zh;q=0.8',
            'Cache-Control': 'max-age=0',
            'Connection': 'keep-alive',
            'Host': 'cs.lianjia.com',
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36',
        }
    r=requests.get(url,headers=headers).content
    soup=BeautifulSoup(r,'html.parser')
    url_ul=soup.find('ul',attrs={'class':'listContent'})
    url_all=url_ul.find_all('a',attrs={'class':'img'})
    for i in url_all:
        urls.append(i['href'])
    #urls列表装的是爬取的各个小区的链接    
    HTML=html.fromstring(r)
    title=HTML.xpath('//div[@class="content"]//li//div[@class="title"]/a/text()')# 使用text()提取标签中间的文字:爬取到小区名称列表
    id=HTML.xpath('//ul[@class="listContent"]/li/@data-id')
    for ii in range(0,30):
        data={'url':urls[ii],'xiaoqu':title[ii],'ID':id[ii]}
        tab.insert(data)
    
    return data
     
main_url='http://cs.lianjia.com/xiaoqu/rs/'
get_urls(main_url)
print u'第1页爬取成功！'
## 存在问题：重复跑的话，数据库里的数据会有重复项
k=input("please enter the total page num that you want to crawl:")
for kk in xrange(2,k+1):
    print u'开始爬取第%s页！'%(str(kk))
    main_url2='http://cs.lianjia.com/xiaoqu/pg%s/'%(str(kk))
    get_urls(main_url2)
    print u'成功爬取第%s页！'%(str(kk))
    time.sleep(1)

抓取结果如下：
第一列是小区链接，第二列是小区名称，第三列是小区ID（抓取小区ID的目的是为了用于后文抓取历史成交价格信息）

image.png

#本代码用于抓取小区的详细信息
#coding=utf-8
from lxml import html
from pymongo import MongoClient
import time
import requests

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

client = MongoClient()
dbName = 'lianjia'
dbTable = 'xiaoqu'
tab = client[dbName][dbTable]  # 创建表单1用于储存抓取的各小区链接  
dbTable2 = 'xiaoqu_detail_0916'
tab2 = client[dbName][dbTable2]

xiaoqus=tab.find()
for x in xiaoqus:
    if x:
        url=x['url']
        print url
        if not tab2.find_one({'url':url}):
            key=dict()
            info=[]
            r=requests.get(url).content
            HTML=html.fromstring(r)
            key[u'小区名称']=HTML.xpath('//h1[@class="detailTitle"]/text()')[0]
            key[u'小区地址']=HTML.xpath('//div[@class="detailDesc"]/text()')[0]
            key[u'小区均价'] = HTML.xpath('//span[@class="xiaoquUnitPrice"]/text()')[0]
            key[u'均价参考时间'] = HTML.xpath('//span[@class="xiaoquUnitPriceDesc"]/text()')[0]
            info= HTML.xpath('//div[@class="xiaoquInfoItem"]/span[@class="xiaoquInfoContent"]/text()')
            key[u'建成时间'] = info[0]
            key[u'建筑类型'] = info[1]
            key[u'物业费'] = info[2]
            key[u'物业公司'] = info[3]
            key[u'开发商'] = info[4]
            key[u'楼栋总数'] = info[5]
            key[u'房屋总数'] = info[6]
            tab2.insert(key)
            print u'抓取小区信息成功！'
            time.sleep(1)
            
        else:
            print u'已爬取过该小区，无需再次爬取！'

抓取结果如下：

image.png

至此抓取各个小区的详细信息完成。接下来抓取各个小区的历史成交价格信息。

---

比如像万科的历史成交记录页面链接是：“https://cs.lianjia.com/chengjiao/c3511063249999/”，是利用前面抓取的小区ID构造该链接的，链接页面如下：
抓取的信息包括：1、房源名称，2、房源位置，3、成交总价（单位：万），4、成交均价（单位：元/平方米），5、成交日期，6，成交周期

截图02.jpg

代码如下：

#本代码利用前文抓取的小区ID构造小区详细页面的链接，并存入数据库
#coding=utf-8
from lxml import html
from pymongo import MongoClient
import time
import requests

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

client = MongoClient()
dbName = 'lianjia'
dbTable = 'xiaoqu'
tab = client[dbName][dbTable]  # 创建表单1用于储存抓取的各小区链接  
dbTable2 = 'xiaoqu_deal_url'
tab2 = client[dbName][dbTable2]

xiaoqus=tab.find()
for x in xiaoqus:
    url='https://cs.lianjia.com/chengjiao/c%s'%x['ID']
    data={u'小区名称':x['xiaoqu'],u'成交页面链接':url}
    tab2.insert(data)

代码运行结果如下：

image.png

#本代码利用数据库里的小区详细页面的链接，需要获取页码，构造分页链接，并请求解析获取各个小区的历史成交记录信息
#coding=utf-8
from lxml import html
from pymongo import MongoClient
import time
import requests

import sys
reload(sys)
sys.setdefaultencoding("utf-8")

client = MongoClient()
dbName = 'lianjia'
dbTable = 'xiaoqu_deal_url' #
dbTable2= 'xiaoqu_price'
tab = client[dbName][dbTable]  # 连接成交页面的链接的数据表单
tab2= client[dbName][dbTable2] # 连接用于存放历史成交信息的表单
deal_url=tab.find()    #  获取数据库里全部的成交记录页面链接的字典集合

headers = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
            'Accept-Encoding': 'gzip, deflate, sdch',
            'Accept-Language': 'zh-CN,zh;q=0.8',
            'Cache-Control': 'max-age=0',
            'Connection': 'keep-alive',
            'Host': 'cs.lianjia.com',
            'Upgrade-Insecure-Requests': '1',
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.106 Safari/537.36',
        }


def get_page_num(url):#此函数用于获取页码，用于构造分页的链接
    r=requests.get(url).content
    HTML=html.fromstring(r)
    page=HTML.xpath('//div[@class="contentBottom clear"]/div[@class="page-box fr"]/div[@class="page-box house-lst-page-box"]/@page-data')[0]#获取页码所在字符串
    return page[13]#页码在字符串的第14位
  
def con_url():# 该函数利用页码，构造分页链接，抓取数据存入数据库
    for url in deal_url:   #url同样为字典 
        url_1=url[u'成交页面链接']  # 索引取出链接
        
        page_num=get_page_num(url_1)  # 调用函数，取出页码
        
        url_11=url_1[0:33]#将链接分为两部分url_11和url_12，再链接构造起来
        url_12=url_1[33:]
        print url[u'小区名称'],page_num
        
        for num in range(1,int(page_num)+1):# page_num是字符串，需int转化为数值型
            URL=url_11+'pg'+'{}'.format(num)+url_12  #URL为构造的分页链接，接下来利用该链接进行抓取
            r=requests.get(URL,headers=headers).content
            HTML=html.fromstring(r)
            title=HTML.xpath('//ul[@class="listContent"]/li/div[@class="info"]/div[@class="title"]/a/text()')
            #title为成交房源名称
            deal_date=HTML.xpath('//ul[@class="listContent"]/li/div[@class="info"]/div[@class="address"]/div[@class="dealDate"]/text()')
            #deal_date为成交日期
            total_price=HTML.xpath('//ul[@class="listContent"]/li/div[@class="info"]/div[@class="address"]/div[@class="totalPrice"]/span/text()')
            #total_price为成交总价（单位：万）
            position=HTML.xpath('//ul[@class="listContent"]/li/div[@class="info"]/div[@class="flood"]/div[@class="positionInfo"]/text()')
            #position为成交房源位置
            unit_price=HTML.xpath('//ul[@class="listContent"]/li/div[@class="info"]/div[@class="flood"]/div[@class="unitPrice"]/span/text()')  
            #unit_price为成交单价（单位：元/平方米）
            deal_cycle=HTML.xpath('//ul[@class="listContent"]/li/div[@class="info"]/div[@class="dealCycleeInfo"]/span[@class="dealCycleTxt"]/span[last()]/text()')
            #deal_cycle为成交周期（单位：天）
          
            for i in range(0,len(title)):  # len计算总共几个成交记录
                data={'titel':title[i],'deal_date':deal_date[i],'total_price':total_price[i],'position':position[i],'unit_price':unit_price[i],'deal_cycle':deal_cycle[i]}
                tab2.insert(data)

con_url()

抓取的结果如下：

image.png

---

本文结束。