pyspark中where条件使用,单一匹配及多条件匹配

  1. 单一的等于 ==
df_data = df_sql.where(column_1=='aaa')
  1. 多个匹配条件 isin
df_data = df_sql.where(column_1.isin('aaa', 'bbb'))
  1. 与第2个相反,条件为不在指定的list中
pos_df = pos_df.where(~pos_df.col_name.isin('指定值1', '指定值2'))
  1. 多条件匹配
# and
pos_df = pos_df.where((pos_df.len >= 3) & (pos_df.len <= 10))
# or
pos_df = pos_df.where((pos_df.len <= 3) | (pos_df.len >= 10))

你可能感兴趣的:(pyspark,pyspark)