Spark SQL中Dataframe join操作含null值的列

Spark SQL中Dataframe join操作含null值的列

当在Spark SQL中对两个Dataframe使用join时,当作为连接的字段的值含有null值。由于null表示的含义是未知,既不知道有没有,在SQL中null值与任何其他值的比较(即使是null)永远不会为真。故在进行连接操作时null == null不为True,所以结果中不会出现该条记录,即左侧表格的这条记录对应右侧的值均为null。示例如下:

table_a:

date serverId lvSection
2018-03-04 1 10
2018-03-05 null 9
2018-03-07 5 15

table_b:

date serverId num
2018-03-04 1 13
2018-03-05 null 4
2018-03-07 5 6
Dataset<Row> table_c = table_a.join(table_b,ScalaUtils.getScalaSeq(Lists.newArrayList("date","serverId")),"left")

table_c:

date serverId lvSection num
2018-03-04 1 10 13
2018-03-05 null 9 null
2018-03-07 5 15 6

所以在使用join时应注意作为连接的字段出现null值的情况。

你可能感兴趣的:(Spark问题总结,spark,大数据)