python中的join函数连接dataframe_Spark DataFrame中的join使用说明

spark sql 中join的类型

Spark DataFrame中join与SQL很像，都有inner join, left join, right join, full join;

类型

说明

inner join

内连接

left join

左连接

right join

右连接

full join

全连接

spark join 看其原型

def join(right : DataFrame, usingColumns : Seq[String], joinType : String) : DataFrame

def join(right : DataFrame, joinExprs : Column, joinType : String) : DataFrame

joinType可以是”inner”、“left”、“right”、“full”分别对应inner join, left join, right join, full join，默认值是”inner”，代表内连接

例子：

a表

id

job

1

张3

2

李四

3

王武

b表

id

job

parent_id

1

23

1

2

34

2

3

34

4

内连接

内连接：内连接查询操作列出与连接条件匹配的数据行，它使用比较运算符比较被连接列的列值