中国姓氏数量众多，历史源远流长。中华民族历史上的姓氏历来有百家姓之说，常云：“赵钱孙李、周吴郑王、冯陈褚卫、蒋沈韩杨”，中国人见于文献的姓氏有5662个，其中单姓3484个，复姓2032个，三字姓146个。（没想到吧，单姓数目只约占6成）
百家姓
今天，我们来好好研究一下各姓氏人群的分布情况。
一、哪个姓氏人数最多？
1.1 清洗数据
- 首先导入数据文件，并对数据进行合并
"""
导入所需函数库
"""
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
% matplotlib inline
import warnings
warnings.filterwarnings('ignore')
# 不发出警告
from bokeh.io import output_notebook
output_notebook()
# 导入notebook绘图模块
from bokeh.plotting import figure,show
from bokeh.models import ColumnDataSource
# 导入图表绘制、图标展示模块
# 导入ColumnDataSource模块
"""
清洗数据
"""
import os
os.chdir('E:\\数据分析\\项目09中国姓氏排行研究')
# 创建工作路径
df01 = pd.read_csv('data01.csv',encoding = 'utf-8')
df02 = pd.read_csv('data02.csv',encoding = 'utf-8')
df_city = pd.read_excel('中国行政代码对照表.xlsx')
# 读取数据
df = pd.concat([df01,df02])
df['户籍地城市编号'] = pd.to_numeric(df['户籍地城市编号'] , errors='coerce')
# 使用to_numeric转为数值。默认情况下，它不能处理字母型的字符串'pandas'。可以将无效值强制转换为NaN
df = pd.merge(df,df_city,left_on='户籍地城市编号',right_on = '行政编码')
df['工作地'] = df['工作地'].str[:15] # 只提取工作地前15个字符即可
del df['行政编码']
del df['户籍地城市编号']
# 合并数据，添加经纬度字段
# 删除无用字段
print('读取数据共%i条' % len(df))
df.head(20)
数据展示1
- 接着整理数据，形成所需格式。查看识别后的单元格，如果字数超过5则为“未识别”
df['工作地_省'] = df['工作地'].str.split('省').str[0]
# 识别工作地-省
df['工作地_市'] = df['工作地'].str.split('省').str[1].str.split('市').str[0]
df['工作地_市'][df['工作地_省'].str.len() > 5] = df['工作地_省'].str.split('市').str[0]
# 识别工作地-市
# 在未识别出省的数据中，可能会有市的信息
df['工作地_区县'] = ''
df['工作地_区县'][(df['工作地_市'].str.len() < 5)&(df['工作地'].str.contains('区'))] = df['工作地'].str.split('市').str[1].str.split('区').str[0] + '区'
df['工作地_区县'][(df['工作地_市'].str.len() > 5)&(df['工作地'].str.contains('区'))] = df['工作地'].str.split('区').str[0] + '区'
df['工作地_区县'][(df['工作地_市'].str.len() < 5)&(df['工作地'].str.contains('县'))] = df['工作地'].str.split('市').str[1].str.split('县').str[0] + '县'
df['工作地_区县'][(df['工作地_市'].str.len() > 5)&(df['工作地'].str.contains('县'))] = df['工作地'].str.split('县').str[0] + '县'
# 识别工作地-区县
df['工作地_省'][df['工作地_省'].str.len() > 5] = '未识别'
df['工作地_市'][df['工作地_市'].str.len() > 5] = '未识别'
df['工作地_区县'][(df['工作地_区县'].str.len() > 5) | (df['工作地_区县'].str.len() < 2)] = '未识别'
# 整理未识别单元格
df.columns = ['姓','工作地','户籍所在地_省','户籍所在地_市','户籍所在地_区县','户籍所在地_lng','户籍所在地_lat',
'工作地_省','工作地_市','工作地_区县']
print('读取数据共%i条' % len(df))
# 数据整理
df.head(20)
数据展示2
1.2 top20姓氏
# 将数据按照“姓”做统计，找到数量最多的TOP20
name_count = df['姓'].value_counts()[:20]
result1_01 = pd.DataFrame({'count':name_count, 'count_pre':name_count/name_count.sum()})
# bokeh出联动柱状图
from bokeh.models import HoverTool
from bokeh.layouts import gridplot
# 导入模块
name_lst = result1_01.index.tolist()
source = ColumnDataSource(result1_01)
# 创建ColumnDataSource数据
hover1 = HoverTool(tooltips=[("姓氏计数", "@count")]) # 设置标签显示内容
result1 = figure(plot_width=800, plot_height=250,x_range = name_lst,
title="中国姓氏TOP20 - 计数" ,
tools=[hover1,'reset,xwheel_zoom,pan']) # 构建绘图空间
result1.vbar(x='index', top='count', source=source,width=0.9, alpha = 0.7,color = 'red')
result1.ygrid.grid_line_dash = [6, 4]
result1.xgrid.grid_line_dash = [6, 4]
# 柱状图1
hover2 = HoverTool(tooltips=[("姓氏占比", "@count_pre")]) # 设置标签显示内容
result2 = figure(plot_width=800, plot_height=250,x_range = result1.x_range,
title="中国姓氏TOP20 - 占比" ,
tools=[hover2,'reset,xwheel_zoom,pan'])
result2.vbar(x='index', top='count_pre', source=source,width=0.9, alpha = 0.7,color = 'green')
result2.ygrid.grid_line_dash = [6, 4]
result2.xgrid.grid_line_dash = [6, 4]
# 柱状图2
p = gridplot([[result1], [result2]])
# 组合图表
show(p)
中国姓氏top20
PS : 数据样本较小，仅代表大致趋势
数据可见，“王张李刘陈”霸占中国姓氏人数前五，总和约占总人数一半。你的朋友中，是否有一半是“王张李刘陈”的一员呢？！
（在5662个姓氏中脱颖而出，老王真是无处不在）
1.3 查看某一姓氏的全国分布
在了解中国姓氏数量的排行后，我们再来看看每一姓氏在中国大陆的分布情况
1.3.1 查看“王”姓的全国分布
data_wang1 = df[df['姓'] == '王']
writer = pd.ExcelWriter('C:/Users/QJ/Desktop/wang1.xlsx')
data_wang1.to_excel(writer,'sheet1',index=False)
writer.save()
# 导出数据1
data_wang2 = data_wang1.groupby(['姓','户籍所在地_lng','户籍所在地_lat'])['户籍所在地_市'].count()
data_wang2 = data_wang2.reset_index()
writer = pd.ExcelWriter('C:/Users/QJ/Desktop/wang2.xlsx')
data_wang2.to_excel(writer,'sheet1',index=False)
writer.save()
# 导出数据2
print('导出完成！')
接着在EXCEL中打开 wang1.xlsx 文件，用power map 制作热力图，查看老王们在中国的分布情况。
“王”姓热力分布图
可以发现，“王”姓的分布情况与想象中的国内人口分布情况大体一致。只是，南方地区分布较少，基本集中在长江中下游地区。
1.3.2 查看“甄”姓的全国分布
同理，再来看看本人“甄”姓的国内分布情况
# 查看“甄”姓的全国分布
data_zhen1 = df[df['姓'] == '甄']
writer = pd.ExcelWriter('C:/Users/QJ/Desktop/zhen1.xlsx')
data_zhen1.to_excel(writer,'sheet1',index=False)
writer.save()
# 导出数据1
data_zhen2 = data_zhen1.groupby(['姓','户籍所在地_lng','户籍所在地_lat'])['户籍所在地_市'].count()
data_zhen2 = data_zhen2.reset_index()
writer = pd.ExcelWriter('C:/Users/QJ/Desktop/zhen2.xlsx')
data_zhen2.to_excel(writer,'sheet1',index=False)
writer.save()
# 导出数据2
print('导出完成！')
“甄”姓热力分布图
不同于遍地开花的“王”姓人，“甄”姓家族的人数较少。除了常见的集中在长江中下游地区，“甄”姓人在广东有两个集中点，分别是开平和台山，也是著名华侨地区，这里的人们多选择出国闯荡，诸如美国唐人街能时常听见台山话。
二、姓氏迁徙情况
2.1 计算奔波指数
查看姓氏迁徙情况，我们需要算出“奔波指数”。其中奔波指数=姓氏人均迁徙距离，迁徙距离为户籍地所在地级市与现居住地所在地级市的距离。
# 计算并查看“叶”姓氏的奔波指数
data_zhen = df[['姓','户籍所在地_lng','户籍所在地_lat','工作地_市','工作地_区县']][df['姓'] == '叶']
data_zhen = data_zhen[data_zhen['工作地_市'] != '未识别']
data_zhen = data_zhen[data_zhen['工作地_区县'] != '未识别']
data_zhen.columns = ['familyname','birth_lng','birth_lat','work_city','work_district']
# 筛选并清洗数据
writer = pd.ExcelWriter('C:/Users/QJ/Desktop/zhen_qianxi.xlsx')
data_zhen.to_excel(writer,'sheet1',index=False)
writer.save()
# 导出数据
print('数据条数为%i条' % len(data_zhen))
data_zhen.head(10)
获得户籍经纬度地址和工作地址
2.2 空间可视化结果
把工作地址利用Geocoding工具，转化成对应经纬度坐标
-
把数据文件导入QGIS中，分别给籍贯坐标和工作坐标取点
-
利用lineplotter插件两点连线，并设置好 “length”字段，以此渐变数值作图
-
最后，优化图表，实现动态可视化（无法呈现效果）
“叶”姓群体迁徙情况
可见，“叶”姓群体多集中工作在南京地区