如何跳过Spark中CSV文件的标题？

假设我提供了三个文件路径到Spark上下文来读取，每个文件在第一行中都有一个模式。我们如何从头文件中跳过架构线？

val rdd=sc.textFile("file1,file2,file3")

现在，我们如何跳过此rdd的标题行？

 

从Spark 2.0开始，您可以使用SparkSession将其作为一个内容来完成：

val spark = SparkSession.builder.config(conf).getOrCreate()

val dataFrame = spark.read.format("CSV").option("header","true").load(csvfilePath)

PS：SparkSession是Spark 2.0中引入的新入口点，可以在spark_sql包下找到