python爬取百度迁徙_Python爬虫抓取百度慧眼迁徙大数据（一）
引言
百度慧眼迁徙3.0上线，在选择某一城市的“迁出目的地”或“迁入来源地”后，即可查看该城市迁出、迁入人口的迁徙来源与迁徙时间趋势。对城市大数据研究有所帮助。本文采取Python爬虫抓取百度慧眼数据。
image
准备工作
工具：Chrome
2.查找数据源。
使用开发者工具(F12),打开Network,搜索关键字json。
image
右侧preview预览，打开data内的list，即可看到json格式的数据。
image
3.数据解析
查找json信息后，发现cityrank.jsonp、provincerank.jsonp和historycurve.jsonp都是可以利用的数据。cityrank是精确到市级的数据来源，provincerank是精确到省级的数据来源，historcurve是表示该地历史数据。本文对cityrank.jsonp、provincerank.jsonp进行了爬取。
4.Url解析
右键，open in tab查看地址栏地址。 example：http://huiyan.baidu.com/migration/cityrank.jsonp?dt=province&id=330000&type=move_in&callback=jsonp_1581412681419_9173670
这里可以看到参数有dt，id，type，callback等。经过测试，dt为选取的地点的行政级别。id为选取的地点的行政编码，是百度内部自己的编码。type有move_in和move_out两种参数，对应迁入和迁出。callback对应的是时间戳，时间精度非常大，后文默认分钟级别。
5.百度城市编码
在上一步内，最难填写的是城市代码，一开始猜测与邮政编码有关，后对其进行验证，发现并不完全相同。在浏览了百度地图开放平台之后，查找到了这么一份行政区划乡镇清单201910.xlsx，与省份、城市id完全吻合。并通过在线的excel转json工具，转换为json格式，保存为文件，方便读取。
爬取工作
因为涉及了Excel格式的写入，所以使用前pip install xlwr。
源代码
import requests
import json
import time
import xlwt
def CityName2Code(dt,cityName):
"""城市名/省名转换为编码
Arguments:
dt {str} -- [description]
cityName {str} -- [description]
"""
cityCode=''
searchKey=''
codeKey=''
#城市编码的相对路径
cityCodePath ='migration/CityCode.json'
#打开文件，文件编码格式为UTF-8
data = open((cityCodePath), encoding='utf-8')
result = json.load(data)
if dt=='province':
searchKey='省名称'
codeKey='省代码'
elif dt =='city':
searchKey='地级市名称'
codeKey='地级市代码'
for rowNum in range(len(result)):
if result[rowNum][searchKey]==cityName:
cityCode = result[rowNum][codeKey]
return cityCode
def UrlFormat(rankMethod,dt,name,migrationType,date):
"""字符串定义,默认时间为00:00:00,精确到分钟级别
Arguments:
rankMethod {str} -- city||province 获得数据的行政级别
dt {str} -- city||province 中心地行政级别
name {str} -- example:'温州市||浙江省' 作为中心地的地名
migrationType {str} -- in||out
date {str} -- example:20200202
"""
list_date = list(date)
list_date.insert(4,'-')
list_date.insert(7,'-')
formatDate = ''.join(list_date)
formatDate= formatDate+" 00:00:00"
#转换成时间数组
timeArray = time.strptime(formatDate, "%Y-%m-%d %H:%M:%S")
#转换成时间戳
timeUnix = time.mktime(timeArray)
ID = CityName2Code(dt,name)
url='http://huiyan.baidu.com/migration/{0}rank.jsonp?dt={1}&id={2}&type=move_{3}&date={4}&callback' \
'=jsonp_{5}000_0000000'.format(rankMethod,dt,ID,migrationType,date,int(timeUnix))
return url
#返回数据处理
def JsonTextConvert(text):
"""Text2Json
Arguments:
text {str} -- webContent
Returns:
str -- jsonText
"""
text = text.encode('utf-8').decode('unicode_escape')
head, sep, tail = text.partition('(')
tail=tail.replace(")","")
return tail
def GetData(rankMethod,dt,name,migrationType,date,isExcel):
"""
Arguments:
rankMethod {str} -- city||province 获得数据的行政级别
dt {str} -- city||province 中心地行政级别
name {str} -- example:'温州市||浙江省' 作为中心地的地名
migrationType {str} -- in||out
date {str} -- example:20200202
isExcel {bool} -- true转出为excel格式
"""
r = requests.get(url=UrlFormat(rankMethod,dt,name,migrationType,date))
text = r.text
rawData=json.loads(JsonTextConvert(text))
data= rawData['data']
list = data['list']
nameKey = ''
if rankMethod=='province':
nameKey = 'province_name'
else:
nameKey = 'city_name'
if isExcel == True:
#输出excel格式数据
workbook = xlwt.Workbook(encoding='utf-8') #创建workbook 对象
worksheet = workbook.add_sheet('sheet1',cell_overwrite_ok=True) #创建工作表sheet
table_head = [nameKey,'value']#表头
index = 1
for i in range(len(table_head)):
worksheet.write(0,i,table_head[i])
for l in list:
worksheet.write(index,0,l[nameKey])
worksheet.write(index,1,l['value'])
index=index+1
filename = name+date+'.xls'
workbook.save('migration/'+filename) #保存表
else:
#打印数据
for l in list:
print(l[nameKey],':',l['value'])
def main():
#第一个参数填‘city‘或’province’，为获取数据的行政级别，分别为市级或省级
#第二个参数填‘city‘或’province’，为中心地的行政级别
#第三个参数填‘中心地名’，例如‘浙江省’或‘杭州市’
#第四个参数填时间，例如‘20200210’，默认每天的零点
#第四个参数填True或False,True则输出Excel(文件路径注意)，否则打印出来
GetData('city','province','浙江省','in','20200210',True)
if __name__ == '__main__':
main()