Spark Q&A

Q: 在读取文件的时候，如何忽略空 gzip 文件?
A: 从 Spark 2.1 开始，你可以通过启用 spark.sql.files.ignoreCorruptFiles选项来忽略损毁的文件。可以将下面的选项添加到你的 spark-submit 或者 pyspark命令中。

--conf spark.sql.files.ignoreCorruptFiles=true

另外 spark支持的选项可以通过在spark-shell中输入下面的命令查看

scala> sql("SET -v").show(200, false)

参考 # Spark - how to skip or ignore empty gzip files when reading