基于手机信令的大数据分析教程（一）—— 数据导入数据库

前言

该套教程以一个初学大数据的菜鸟视角，编写数据分析处理的整套流程。写得较为详(luo)细(suo)，希望适用于任何城乡规划大数据的初学者。持续更新中，若有错误，望指正！

1、任务总纲

（1）职住数据导入数据库，用SQL语句进行处理数据

（2）GIS连接数据库，数据处理后进行可视化分析，得到基于区县和街道层面的人口分布图、就业岗位分布图和职住比分布图

（3）职住OD分析，得到基于中区（街道层面）和大区（区县层面）的OD期望线

（4）用POI制作核密度和网格密度图

（5）利用Adobe Illustrator的插件美化GIS出图

（6）计算每个街道的平均通勤距离

（7）Tableau 软件连接数据库，绘制距离分布衰减的柱状图

2、材料准备

这里以西安为例，获得的资料为：
西安的区县和街道分区shp、西安的手机基站分布点shp、西安十分之一职住数据csv、西安POI

3、涉及软件

·pgAdmin III（我们所用的数据库PostgreSQL）
· Navicat Premium（数据库管理工具）
·Qgis3.4或PostGIS 2.0（导入shapefile）
·ArcGIS 10.5
·Avenza MAPublisher（AI插件，美化GIS出图）
·Tableau 10.5（可视化图表）

涉及的软件

——————————————————————————————
下面正式开始教程keke~
本节重点：使用Navicat新建连接和数据库，利用SQL语句新建并导入表

数据导入数据库

下图为已经识别出来的西安职住数据，0代表未识别出居住地或工作地

十分之一职住数据

该表格为csv UTF8(逗号分隔)格式
注意数据存储的整条路径不能出现中文，否则导入数据库后会发生错误！

QQ截图20181123113314.png

打开Navicat——文件——新建连接——PostgreSQL
设定连接名，这里用的本地连接(localhost)，密码是一开始安装时自己设定的密码

QQ截图20181123110352.png

QQ截图20181123110423.png

在新建连接上右键——新建数据库，其中编码选择UTF8
注意不要用默认的postgres数据库，不然GIS可能连接不上

QQ截图20181123111206.png

QQ截图20181123111242.png

在“查询”界面中输入新建表和导入数据的SQL命令，将之前csv表格的数据导入
注意每个字段的数据类型
其中with csv HEADER表示之前csv表中的表头

create table xian_homework2 (home varchar(50), work varchar(50), sum int);
COPY xian_homework2 FROM 'E:\data\xianhw2.csv'  with csv HEADER

QQ截图20190105190331.png

成功后可以将该查询语句保存下来

QQ截图20181123193310.png

关于建表和导入导出数据的语句，详见施老师的教程：
https://www.jianshu.com/p/5ab5dc112ca3