Python爬虫 | 爬取贝壳找房8万+二手房源，看看普通人在北京买房是有多难！

1.概述

最近看到一句话，感觉很扎心，这句话是”任何一个男孩子小时候的梦想，绝对不是买套房“。

其实，刚从象牙塔步入社会的时候，不曾想过房的事情。记得2016年房价猛涨，方才对房有了一些认知而已。直到随着年龄的增长，房子的故事便不得不需要展开了。

北上广深如今的房价又到了什么样惊人的数值呢？从贝壳找房最新的贝壳指数来看：北京是6.13万，上海5.62万，广州2.86万，深圳7.05万。

今天，我们从贝壳找房 爬取了 8万+二手房源信息，看看在北京的二手房都是什么样的存在。

通过本篇，大家可以在了解北京二手房多维度信息的同时学习Python的re正则表达式、pandas数据处理以及绘图库(pyecharts、seaborn)柱状图+饼图+直方图+箱线图+map+热力图+堆叠图和高德api的使用等。

数据说明：

数据来源：贝壳找房-二手房
数据日期：2020年12月28日
数据量级：82,346（含车位，数据处理阶段清洗）

工具环境

Python 3.8.5

库	用途
requests	爬虫请求网站数据
re	正则解析网页数据及数据清洗
pandas	数据清洗及统分
pyecharts	绘图
matplotlib	绘图
seaborn	绘图

2.数据采集

贝壳找房的数据爬取比较简单，简单的翻页规律和HTML网页文本解析。我们编写for循环，用requests请求数据，再用re正则表达式进行房源数据解析即可。

鉴于整个爬虫过程并不复杂，这里亦不细说，后续专题介绍如何获取全部数据。

房源数据解析代码如下：

# 请求网页数据函数
def get_html(url, proxies):
    try:
        rep = requests.get(url, headers= header, proxies= proxies, timeout=6)
    except Exception as e :
        print(e)
        proxies = get_proxies()
    rep = requests.get(url, headers= header, proxies= proxies, timeout=6)
    while  rep.status_code != 200:
        proxies = get_proxies()
        rep = requests.get(url, headers= header, proxies= proxies, timeout=6)        
    html = rep.text
    html = re.sub('\s', '', html) # 将html文本中非字符数据去掉        
          
    return html,proxies
# 循环请求每页数据
num = 0
for page in range(1,pages+1):
    items = []
    time.sleep(random.random())
    info_url = f'{url}/pg{page}'
    try:
        info_html, proxies = get_html(info_url, proxies)
    except Exception as e:
        print(e)
        continue

    sellListContent = re.findall(r'(.*?)', info_html)[0]
    Lists = re.findall(r'(.*?)', sellListContent)

    for List in Lists:
        try:
            # 获取房屋信息
            item = {
     }
            item['标题'] = re.findall(r'detail"title="(.*?)"data-hreftype=', List)[0]
            item['房子ID'] = re.findall(r'housedel_id=(\d+)&', List)[0]
            item['地址'] = re.findall(r'(.*)', List)[0][1]
            item['详情页'] = re.findall(r'(.*)', List)[0][0]
            item['详情'] = re.findall(r'(.*?)

', List)[0] item['总价'] = re.findall(r'(\d+\.?\d*)(.*?)

', List)[0][0] item['总价单位'] = re.findall(r'(\d+\.?\d*)(.*?)

', List)[0][1] item['均价'] = re.findall(r'(.*?)