海子有一首诗:
从明天起,做一个幸福的人
喂马,劈柴,周游世界
从明天起,关心粮食和蔬菜
我有一所房子,面朝大海,春暖花开
尤其是最后一句,我有一所房子,面朝大海,春暖花开,无论你是不是文艺青年,这样的海边都会让你魂牵梦萦。
然而我们国内的海边往往并没有诗人笔下的面朝大海美丽,这也与中国的地质构造有关。实际上,“海”和“洋”是有区别的,海,在洋的边缘,是大洋的附属部分。从下图中可以看出,中国黄海、渤海、东海都是比较浅的蓝色,水较浅,容易形成冲击的沙滩,在这样的海边,想建一座房子也不容易。
然而,从这张图可以看到,在台湾省的东边,便是深色的“洋”。在这里,有个美丽的地方,叫花莲。
这里似乎是最契合“我有一所房子,面朝大海,春暖花开 ”的地方了,那么,还有个问题,花莲靠近热带,会不会太热,失去了“春暖花开”的意境呢?
为了弄清楚这个问题,我最近学习了点Python,从0到1进行数学分析,完整走完了:数据获取>数据处理>数据分析>数据呈现四个步骤。整个过程其实不算难,甚至完整代码都不到100行,但对于初学者来说还是有一些坑。
分析问题
我想知道花莲这个地方到底是不是“春暖花开”,所以我最好能弄到花莲的历史气温。在网上搜了下,搜到的要么是过去一个月的气温,要么是分散的数据,需要手工处理,类似这样:
这当然是我们不屑于做的,我们只做更有逼格的事情,于是,我找到了这个:https://market.aliyun.com/products/57096001/cmapi010812.html?spm=5176.2020520132.101.17.38547218ytXzkm#sku=yuncode481200005
花一分钱在阿里云市场购买这个API接口,就可以根据地名查询历史天气了(当然也可以实时)。买好之后,控制台可以看到AppKey、AppSecret和AppCode,我们后面会用到。
数据获取&处理
接下里,我们要通过这个API接口获取花莲的历史数据。先看下接口文档:
这里主要用到了urllib2库,其实它并不好用,完全可以用requests库代替。Requests全称叫:
Requests:HTTP for Humans
我觉得这个名字起的特别好。实际上,我们每天上网,打开的各种网页、APP,无时无刻都在用到http协议。但是,那都是给程序用的,而这个Requests库却非常人性化,并且还有丰富的中文文档(其实一共就一大页)
OK,接下来我们上用Python调用这个API的代码:
def getWeather(appcode,areaid,month):
url = 'https://ali-weather.showapi.com/weatherhistory'
payload = {'areaid':areaid,'month':month}
headers = {'Authorization': 'APPCODE {}'.format(appcode)}
r = requests.get(url,params = payload,headers = headers)
weatherjson = json.loads(r.content)['showapi_res_body']['list']
weathermatrix = pd.DataFrame(weatherjson)
return weathermatrix
简单来说,我们要用requests.get()方法去get一下这个API,并传入url、params和headers三个参数,其中params会传入地区(areaid)和月份(month),headers里包含了appcode。
这样会得到一个response对象,赋值给r。关于这个response对象,我理解有点类似于前端用DOM方法获取的对象是DOM对象,用jquery方法获取的对象是jquery对象。
这里先用python内置的json.loads()方法将r.content处理成json格式,观察一下发现:
得到的json中,“showapi_res_body”对应的value值里面的“list”对应的value值才是我们想要的,所以加上两层key值:
weatherjson = json.loads(r.content)['showapi_res_body']['list']
获取到的变量我们用pandas的DataFrame()方法处理一下,让它变成列表数据:
这时候有个问题,requests.get()一次只能获取一个城市一个月的数据,为了方便我们获取多个月的数据,我们把获取一个城市一个月的数据写成函数,然后一次性传入n个城市n个月作为参数,调用这个函数。
前面我已经写成函数了,这里需要注意的是,这个函数执行一次就会调用一次API,如果是n个城市m个月,就会调用n*m次,默认1分钱的接口只支持100次。
获取多次数据的函数如下:
def getMonthsWeather(appcode,areaid,months):
weather =[]
for month in months:
temp_weather = getWeather(appcode,areaid,month)
weather.append(temp_weather)
weathers = pd.concat(weather)
return weathers
由于我不打算处理多个城市, 所以第二个函数我只嵌套了一层循环。传入一个有多个month组成的months列表,每执行一次,就把数据添加到一个空列表的末尾,这样一来这个空列表就成了多次执行的结果的集合。
但是每个月的数据之间仍然是隔离的,所以我们要用pandas的concat()方法把每一个个数据框沿着纵轴(默认)连接在一起。
万事俱备,只需要把参数写到变量传进去就好:
这里,appcode我打了马赛克,areaid在接口文档页面可以下载到一份Excel表格,里面可以查询到中国所有城市的areaid,month可以根据实际需要传入多个,但是需要注意很早之前的历史数据数据源可能没有。
数据可视化
先上代码再展开说。
weathers = getMonthsWeather(appcode,areaid,months)
weatherstime = pd.to_datetime(weathers.time)
min_temperature = pd.to_numeric(weathers.min_temperature)
max_temperature = pd.to_numeric(weathers.max_temperature)
plt.figure(figsize=(20,8),dpi=80)
plt.title('Temperature in Hualian')
plt.plot(weatherstime,max_temperature,label="Maximum temperature")
plt.plot(weatherstime,min_temperature,label="Minimum temperature")
plt.ylim(-10,40)
plt.show()
我们通过前面的函数获取的数据,赋值给weathers。这是一个DataFrame数据,将其中的time转化为时间格式,将min_temperature、max_temperature转化为数值类型。
然后就开始画图。
由于Python对中文支持较差,还需要引入一些库,这里我就只写英文标题。用figure()创建一个画布,然后将weatherstime作为横坐标,min_temperature、max_temperature分别作为纵坐标,这样会画出两条折线。
需要注意的是,Python默认会根据数据维度画纵坐标范围,比如说气温都在20到30度之间,那么纵坐标就只有20-30,如果要拉长坐标范围,就需要手动处理。
这里我用plt.ylim(-10,40)将纵坐标设置成0到40。
最终得到的结果如下:
看起来,坐标轴根本不需要设置到-10,因为根本没有出现过零下的气温。另外2017年7月左右出现的一个突出的低温,很可能是接口的数据源有误,这里就当它不存在好了。
整体来看,花莲全年气温波折较平稳,虽然地处亚热带,最高气温也不超过35°C,一年里有大量的时间处于【20°C,30°C】这个区间内,可以说一年大部分时间都是“春暖花开”了!
为了验证一下,我将areaid设置成我的家乡——一个北纬30度的华东城市,得到的结果如下:
整体来看,我的家乡全年气温的波动不仅更加距离,冬天更冷(最冷零下5°C以下),夏天也更热。
至此,我们完成了从0到1的数据分析过程。