Spark Dataframe 按行随机打乱

Spark Dataframe 按行随机打乱

1. 原因

做这个是由于算法的训练样本需要打乱。样本打乱在正常情况下有很多方法，比如下载本地用linux的shuf命令。然而我在用spark-tensorflow-connector做tfrecord数据格式转化时，由于spark dataframe中是tfrecord数据，下载本地后为二进制文件，所以按行打乱过程需要在dataframe中进行。

2. 方法

在spark dataframe api中，http://spark.apache.org/docs/latest/api/python/pyspark.sql.html#pyspark.sql.DataFrame
没有直接做随机打乱的方法。比如repartition并不能全部随机打乱，sample随机采样，其实采样顺序和原来dataframe排列一致。Pandas dataframe有随机打乱的方法，但是用toPandas转化消耗过于巨大。
比较适用的思路是，每行生成随机数后排序，然后删除这一随机数的列，就达到了随机打乱的效果。

3. 实现

import pyspark.sql.functions as F

# 从rdd生成dataframe
schema = StructType(fields)
df_1 = spark.createDataFrame(rdd, schema)
# 乱序: pyspark.sql.functions.rand生成[0.0, 1.0]中double类型的随机数
df_2 = df_1.withColumn('rand', F.rand(seed=42))
# 按随机数排序
df_rnd = df_2.orderBy(df.rand)
# 删除随机数的一列
df = df_rnd.drop(df.rand)