使用PySpark处理DataFrame以拆分数组列

问题：用pyspark 处理df1,df1 有三列，第一列是商品pid,第二列是商品name,第三列是候选标品cid_list(有多个cid),将df1中的cid_list拆开,转换成一个商品id和name对应一个cid，但是有多行 

from pyspark.sql.functions import explode, col

# 假设df1是一个已经存在的DataFrame，并且包含三列：'pid', 'name', 和 'cid_list'

# 使用explode函数将cid_list中的每个元素转换成单独的行，并保留pid和name
df_exploded = df1.select(
    col("pid"),
    col("name"),
    explode(col("cid_list")).alias("cid")
)

df_exploded.show(truncate=False)

在这段代码中，explode函数用于将cid_list数组中的每个元素拆分为单独的行。同时，select函数用于选择pid和name列，确保在结果DataFrame中，每个商品的ID和名称都与一个候选标品的CID相对应。这样，对于原始DataFrame中的每个商品，如果它有N个候选标品CID，则在结果DataFrame中会有N行，每行包含商品的ID、名称和一个候选标品CID。

在PySpark中，如果你有一个DataFrame的列包含数组，你可以使用explode函数将数组中的每个元素变成单独的行。此外，如果你想保留原始数组以及展开的元素，你可以使用explode_outer函数来处理包含空数组或null值的情况。

下面是一个例子，展示了如何使用explode函数拆分数组列：

from pyspark.sql import SparkSession
from pyspark.sql.functions import explode

# 创建一个SparkSession
spark = SparkSession.builder.appName("example").getOrCreate()

# 创建一个包含数组列的DataFrame
data = [("a", [1, 2, 3]), ("b", [4, 5]), ("c", [])]
columns = ["id", "numbers"]
df = spark.createDataFrame(data, columns)

# 使用explode函数拆分数组列
df_exploded = df.select(df.id, explode(df.numbers).alias("number"))

# 显示结果
df_exploded.show()

这个例子中，我们首先创建了一个SparkSession实例，然后定义了一个包含数组列的DataFrame。使用explode函数后，数组中的每个元素都会变成单独的行，并且与原始行的其他列一起显示。

如果你的数组列中可能包含空数组或null值，并且你想要在结果DataFrame中为这些情况保留行，你可以使用explode_outer函数代替explode函数：

from pyspark.sql.functions import explode_outer

# 使用explode_outer函数拆分数组列，以处理空数组或null值
df_exploded_outer = df.select(df.id, explode_outer(df.numbers).alias("number"))

# 显示结果
df_exploded_outer.show()

在这个例子中，explode_outer函数确保即使数组为空或为null，原始行的id列仍然会被保留在结果DataFrame中，而对应的number列会显示为null。

 

过滤掉recall_res列为空数组的行

from pyspark.sql.functions import size

# 假设df是一个已经存在的DataFrame，并且recall_res是其中的一个列，类型为数组
df_filtered = df.filter(size(df['recall_res']) > 0)
df_filtered.show()

以上代码中使用了size函数来获取数组类型列的大小，然后通过比较其大小是否大于0来过滤掉那些recall_res列为空数组的行。

在PySpark中，如果你想处理包含数组的DataFrame，你可以使用explode()函数。这个函数会将数组中的每个元素都拆分成一行。

以下是一个简单的例子：

from pyspark.sql import SparkSession

# 创建一个SparkSession
spark = SparkSession.builder.getOrCreate()

# 创建一个DataFrame
data = [("a", ["b", "c", "d"])]
df = spark.createDataFrame(data, ["id", "arr"])

# 使用explode函数拆分数组列
df2 = df.select(explode(df["arr"]).alias("item"), df["id"])

# 显示结果
df2.show()

在这个例子中，我们首先创建了一个包含数组列的DataFrame。然后，我们使用explode()函数来拆分数组列。最后，我们使用show()函数来显示结果。

请注意，explode()函数会将数组中的每个元素都拆分成一行，所以如果数组中有很多元素，这可能会导致DataFrame的行数大幅增加。