【大数据】Spark 递归读取 HDFS

HDFS 若有子目录,Spark 是不能递归读取子目录,需要在 spark-submit 中配置以下参数:

-- conf spark.hadoop.mapreduce.input.fileinputformat.input.dir.recursive=true\
-- conf spark.hive.mapred.supports.subdirectories=true```

你可能感兴趣的:(【大数据】Spark 递归读取 HDFS)