Spark读取csv文件

通过SparkSession读取csv文件时，可以通过option方法来自动识别csv文件的标题，推断数据类型

def main(args: Array[String]): Unit = {

    Logger.getLogger("org").setLevel(Level.WARN)

    val spark = SparkSession.builder().appName("Spark Sql 2.x 5")
      .master("local")
      .getOrCreate()

    //读取csv后直接就是df，但是，此时没有表头，需要手动添加
    val df: DataFrame = spark.read
      //自动识别表头
        .option("header",true)
      //自动推断类型
      .option("inferSchema", true)
      .csv("D:\\coding\\java\\BigData\\File\\boys.csv")

    df.printSchema()

    spark.stop()
}

若是没有表头，可以通过toDF方法指定。