python数据分析练习--分析成都的房价

目的：使用python的numpy、pandas、matplotlib库来分析成都二手房的房价信息。

原始数据来源：贝壳找房网站上的数据https://cd.ke.com/ershoufang

环境：win10  python 3.7.3 

参考链接：入门Python数据分析最好的实战项目（一）

环境：win10  python 3.7.3  vscode编辑器

（1）第一部分：使用python爬取贝壳网上的数据

爬取的数据是：锦江、青羊、武侯、高新、成华、金牛、天府新区、双流、温江、郫都、龙泉驿、新都等区的房价信息，每个地区爬取了1500个条目。

由于爬取的是静态页面，所以很容易，我就直接放代码了，不熟悉的网友可以参考一下这篇文章：https://www.cnblogs.com/mrlayfolk/p/12319414.html。

  1 # encoding:utf-8
  2 
  3 '''
  4 目的：从贝壳找房中爬取房价信息。网址：https://cd.ke.com/ershoufang/qingyang/l2/
  5 分别是：锦江、青羊、武侯、高新、成华、金牛、天府新区、双流、温江、郫都、龙泉驿、新都等区的房价信息
  6 环境：python 3.7.3
  7 所需的库：requests、BeautifulSoup、xlwt、re
  8 '''
  9 
 10 import requests
 11 import string
 12 import csv
 13 import re
 14 from bs4 import BeautifulSoup
 15 
 16 headers = {
 17     'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36',\
 18     "Host": "cd.ke.com",
 19 }
 20 
 21 # 将获取的信息保存到csv文件中
 22 def save_info(content, title):
 23     head = ('position', 'floor', 'builtYear', 'layout', 'size', 'orientation', 'totalPrice', 'perPrice')
 24     with open('%s.csv' % title, 'w', newline='', encoding='utf-8-sig') as f:
 25         writer = csv.writer(f)
 26         writer.writerow(head)
 27         for i in range(len(content)):
 28             row = content[i]
 29             writer.writerow(row)
 30 
 31 
 32 
 33 # 获取房屋相关的信息
 34 # 主要包括：'position', 'floor', 'builtYear', 'layout', 'size', 'orientation', 'totalPrice', 'perPrice'
 35 def get_info(place):
 36 
 37     all_info        = []
 38     position_list   = []
 39     floor_list      = []
 40     builtYear_list  = []
 41     layout_list     = []
 42     size_list       = []
 43     orientation_list= []
 44     totalPrice_list = []
 45     unitPrice_list  = []
 46     
 47     for i in range(50):
 48         link = 'https://cd.ke.com/ershoufang/%s/pg%dl2/' % (place, i)
 49         r = requests.get(link, headers=headers, timeout=10)
 50         print (str(i+1), 'status_code: ', r.status_code)
 51         soup = BeautifulSoup(r.text, 'lxml')
 52         positionInfo = soup.findAll('div', {'class': 'positionInfo'})
 53         houseInfo = soup.findAll('div', {'class': 'houseInfo'})
 54         totalPrice = soup.findAll('div', {'class': 'totalPrice'})
 55         unitPrice = soup.findAll('div', {'class': 'unitPrice'})
 56         for item in positionInfo:
 57             postion = item.a.text.strip()
 58             position_list.append(postion)
 59         for item in houseInfo:
 60             house_info = item.text.strip().replace('\n', ' ').replace(' ', '')
 61             floor = re.search('.楼层\(共[\d]+层\)', house_info).group()
 62             s = re.search('[\d]*年建', house_info)
 63             if s is not None: builtYear = s.group()
 64             else: builtYear = None
 65             layout = re.search('.室.厅', house_info).group()
 66             size = re.search('([\d]*\.[\d]*|[\d]*)平米', house_info).group().replace('平米', '')
 67             orientation = re.search('东南|东北|西南|西北|东|西|南|北', house_info).group()
 68             floor_list.append(floor)
 69             builtYear_list.append(builtYear)
 70             layout_list.append(layout)
 71             size_list.append(size)
 72             orientation_list.append(orientation)
 73         for item in totalPrice:
 74             total_price = item.span.text.strip()
 75             totalPrice_list.append(total_price)
 76         for item in unitPrice:
 77             unit_price = item.span.text.strip().replace('单价', '').replace('元/平米', '')
 78             unitPrice_list.append(unit_price)
 79     print (len(position_list))
 80     print (len(floor_list))
 81     print (len(builtYear_list))
 82     print (len(layout_list))
 83     print (len(size_list))
 84     print (len(orientation_list))
 85     print (len(totalPrice_list))
 86     print (len(totalPrice_list))
 87     for i in range(len(position_list)):
 88         item = [position_list[i], floor_list[i], builtYear_list[i], layout_list[i], \
 89             size_list[i], orientation_list[i], totalPrice_list[i], unitPrice_list[i]]
 90         all_info.append(item)
 91 
 92     return all_info
 93 
 94 
 95 if __name__ == "__main__":
 96 
 97     area_list = ['jinjiang', 'qinyang', 'wuhou', 'gaoxin', 'chenghua', 'jinniu', \
 98     'tianfuxinqu', 'shuangliu', 'wenjiang', 'pidu', 'longquanyi', 'xindu']
 99 
100     for place in area_list:
101         all_info = get_info(place)
102         save_info(all_info, place)

上述代码执行的结果是：输出了存储成都各地区房价信息的csv文件。

以下地方需要说明一下：

1）当我们获取到房屋信息时（如：高楼层(共6层) | 2000年建 | 2室2厅 | 78平米 | 南），由于有些条目缺少年建（前面的“2000”年建），所以用字符串的内建函数来分割出楼层、年建、布局、面积、朝向等信息不是很方便，建议使用正则表达式，这样会方便很多。

2）当我们存储数据到csv文件时，把“ encoding='utf-8-sig' ”这条语句加上，不然我们使用pandas.read_csv()函数打开csv文件时会出现编码错误的问题，具体的原因可查看这篇文章：https://www.cnblogs.com/harrymore/p/10063775.html

（2）第二部分：分析爬取到的房价信息

使用numpy、pandas、matplotlib库来分析。

1）首先，先导入这些库。

1 import numpy as np 
2 import pandas as pd
3 from matplotlib import pyplot as plt 
4 
5 # 解决绘图时中文不显示的问题
6 plt.rcParams['font.sans-serif'] = ['SimHei']
7 plt.rcParams['axes.unicode_minus'] = False

2）然后，我们将抓取到的文件使用pandas.read_csv()方法读取出来。

 1 df_jinjiang    = pd.read_csv('jinjiang.csv')
 2 df_qinyang     = pd.read_csv('qinyang.csv')
 3 df_wuhou       = pd.read_csv('wuhou.csv')
 4 df_gaoxin      = pd.read_csv('gaoxin.csv')
 5 df_chenghua    = pd.read_csv('chenghua.csv')
 6 df_jinniu      = pd.read_csv('jinniu.csv')
 7 df_tianfuxinqu = pd.read_csv('tianfuxinqu.csv')
 8 df_shuangliu   = pd.read_csv('shuangliu.csv')
 9 df_wenjiang    = pd.read_csv('wenjiang.csv')
10 df_pidu        = pd.read_csv('pidu.csv')
11 df_longquanyi  = pd.read_csv('longquanyi.csv')
12 df_xindu       = pd.read_csv('xindu.csv')
13 
14 df = [df_jinjiang, df_qinyang, df_wuhou, df_gaoxin, df_chenghua, df_jinniu, df_tianfuxinqu, \
15     df_shuangliu, df_wenjiang, df_pidu, df_longquanyi, df_xindu]

3）接着，我们先使用DataFrame的describe()方法先分析一下各地区的统计值，包括：最大值、最小值、平均值、中位数等。

1 area_name = ['jinjiang', 'qinyang', 'wuhou', 'gaoxin', 'chenghua', 'jinniu', 'tianfuxinqu', \
2     'shuangliu', 'wenjiang', 'pidu', 'longquanyi', 'xindu']
3 
4 for i, item in enumerate(df):
5     print ('%s:' % area_name[i])
6     print (item.describe())

打印的数据很多，就不全部弄出来了，锦江区的数据如下，可以看到锦江区的房价平均值为142.39万元、中位数为132万元；每平米的单价的平均值为18734.11元，中位数为17545元。

 4）接着分析一下每个地区的房屋的单价信息（元/平米），并以柱状图显示出来。

1 perPrice_list = []
2 for item in df:
3     perPrice = item['perPrice'].mean()
4     perPrice_list.append(perPrice)
5 data = pd.Series(perPrice_list, index=area_name)
6 data.plot(kind='barh', color='g', alpha=0.7, title=u'成都各区每平米房价对比')
7 plt.show()

 从分析结果可以看出：锦江区的每平米房价最高，温江的最低。

5）接下来，分析一下面积和单价的对应关系。

为了方便后续处理，先将所有的面积，单价，总价进行一个汇总。

 1 totalSize_list     = []
 2 totalPrice_list    = []
 3 totalPerPrice_list = []
 4 size_list = []
 5 for item in df:
 6     size     = item['size']
 7     price    = item['totalPrice']
 8     perPrice = item['perPrice']
 9     for i in range(len(size)):
10         totalSize_list.append(size[i])
11         totalPrice_list.append(price[i])
12         totalPerPrice_list.append(perPrice[i])
13 print (len(totalSize_list))
14 print (len(totalPrice_list))
15 print (len(totalPerPrice_list))

先在获取每平米的单价和面积之间的对应关系。

1 #  将各地区的面积和单价统计起来，看一下面积和单价之间的对应关系。
2 plt.scatter(totalPrice_list, totalSize_list)
3 plt.title('面积与房屋单价的对应关系')
4 plt.xlabel('size')
5 plt.ylabel('perPrice')
6 plt.show()

 可以看出，面积和单价之间基本是成正相关的，只有几个少数的地方数据点除外。

6）后面还有一些特征可以分析，今天没时间了，后面再分析吧。