南京链家爬虫系列文章（四）——图表篇

前言

在上一篇南京链家爬虫系列文章（三）——MongoDB篇中，我们已经数据保存为csv文件，此篇我们可以基于csv文件中的数据进行必要的图标展示的操作，必备工具：pyecharts，详细介绍请移步参加作者的主页，安装方式很简单，pip一下就可以了：

image.png

柱状图

比较简单，详见代码：

import pandas as pd
from pyecharts import Bar,Line,Overlap

df_src=pd.read_csv('nanjing.csv')
row = df_src[df_src.community_unit_price=='暂无参考均价'].index.tolist()
df=df_src.drop(row) # 删除无小区均价所在的行
data={}
data = df[['district','community','community_id','longtitude','latitude','community_unit_price']]
district = ['鼓楼', '溧水', '浦口', '江宁', '栖霞', '雨花台', '玄武', '秦淮', '建邺']
dis_ind=0 # 区域索引
# 二手房数量排名
temp=data['community'].value_counts()
num=50
attr=temp[0:num].index
val=temp[0:num].values
bar = Bar(district[dis_ind]+"二手房数量前%d排名" %num)
bar.add('bar', attr, val, is_label_show=True, is_datazoom_show=True, xaxis_rotate=30)
# line=Line()
# line.add('line',attr,val, is_label_show=True, is_datazoom_show=True)
# overlap=Overlap()
# overlap.add(bar)
# overlap.add(line)
# bar.show_config() # 打印输出图表的所有配置项
bar.render(district[dis_ind]+"二手房数量前%d排名.html" %num)

效果如下：

123.gif

地图显示篇

同样通过pyecharts自带的地图功能，可以在地图上显示各小区均价，代码如下：

import pandas as pd
from pyecharts import Geo

df_src=pd.read_csv('nanjing.csv')
row = df_src[df_src.community_unit_price=='暂无参考均价'].index.tolist()
df=df_src.drop(row) # 删除无小区均价所在的行
data={}
data = df[['district','community','community_id','longtitude','latitude','community_unit_price']]
district = ['鼓楼', '溧水', '浦口', '江宁', '栖霞', '雨花台', '玄武', '秦淮', '建邺']
dis_ind=0 # 区域索引
index=data['district']==district[dis_ind] # 提取值为dis_ind的索引，

data =[
    ('紫竹林1号', 27173), ('月光广场', 31193), ('卧龙湖小镇', 10683), ('天润城第十四街区', 23713), ('东渡国际青年城', 28992)
]
geo_cities_coords = {'紫竹林1号': [118.780703,32.091311],'月光广场':[118.7517653,32.06505319],
                     '卧龙湖小镇':[119.0605851,31.72704304],'天润城第十四街区':[118.737714,32.16147],
                     '东渡国际青年城':[118.8454192,31.93771896]}
geo = Geo("南京", "二手房小区均价", title_color="#fff",
          title_pos="center", width=1200,
          height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, maptype='南京', type="effectScatter",
        is_random=True, effect_scale=5, is_legend_show=False,
        geo_cities_coords=geo_cities_coords)
geo.render('hello.html')

打开当前路径下的hello.html文件即可查看效果，只简单的去了五个小区，效果如下：

123.gif

热力图篇

准备工作，在进行热力图的制作之前需要先阅读几篇文章：
python调用百度地图API实现经纬度换算、热力地图全流程指南
【新年快乐，跨年文章】Python+百度API 画出美美哒热力地图（代码+数据）
通过这两篇文章我们需要做几件事

第一件事

申请百度开发者账号，获得ak略...

第二件事

确定地图中心点，http://api.map.baidu.com/lbsapi/creatmap/通过这个网址输入地名即可

第三件事

生成经纬度数据，count值可以为小区均价，二手房首付，或者其他什么的...生成的经纬度数据替换图中的var points，按照格式替换即可

image.png

第四件事

修改热力图的半径和count的最大值，因为数据太多，因此只选择了几个点进行测试，通过观察，points的最大值在60000以下，因此半径和最大值设置如下：

image.png

第五件事

点击运行按钮即可

image.png

热力图生成代码：

复制如上代码粘贴在http://lbsyun.baidu.com/jsdemo.htm#c1_15的源代码编辑器中运行即可

最后一件事

不知道是什么原因，我只能看看有限的几个点，可能我在百度地图那里没进行实名认证吧，能运行的权限有限，点数一多就没结果...
另，如果有任何问题，欢迎邮件交流：[email protected]。
爬虫系列文章：
南京链家爬虫系列文章（一）——工具篇
南京链家爬虫系列文章（二）——scrapy篇
南京链家爬虫系列文章（三）——MongoDB数据读取
南京链家爬虫系列文章（四）——图表篇