Spark系列 —— 将Dataframe转化成HashMap

既然是要将Dataframe转化成HashMap, 那么为什么要把Dataframe转化成HashMap? 使用场景是什么?

需求

现在有一个json串"{‘address’:[[‘33’,‘3301’,‘330108’],‘xx路xx号’]}", 需要把address解析出来之后, 将行政区划编码替换为对应的省市区县, 最后输出这样的格式(“浙江省杭州市滨江区xx路xx号”).

开发给到的行政区划表(area)的结构如下图:

因为行政区划表在解析json的时候, 很多地方都会用到, 并且行政区划表本身记录数比较少, 占用的内存空间较小, 就考虑将行政区划编码和对应的省市区县放到一个HashMap中, 查询效率也会比较高.

有的同学可能会问, 为什么不用join? 如果用join关联, 在查省、市、区县时，要么是先过滤出三个Dataframe，分别代表省、市、区县，然后再分别join，要么就是不区分，关联整个行政区划表3次。这样一来，不仅比较麻烦，效率也不高。

 
下面看具体代码实现

import scala.collection.mutable

val hashMap = spark.read.table("ods.area") //行政区划表
	.select("area_code", "area_name") //只查询需要的字段(行政区划编码、省市区县名称)
	.rdd //Dataframe转化为RDD
	//RDD中每一行转化成area_code和area_name映射的key-value
	.map(row => row.getAs("area_code").toString -> row.getAs("area_name").toString) 
	.collectAsMap() //将key-value对类型的RDD转化成Map
	.asInstanceOf[mutable.HashMap[String, String]]