Spark怎么样可以拉取excel的数据

需要导入一个支持的jar

<dependency>
     <groupId>com.crealytics</groupId>
     <artifactId>spark-excel_2.11</artifactId>
     <version>0.12.2</version>
</dependency>

读取的方式如下

  def main(args: Array[String]): Unit = {
    val session = SparkSession.builder().master("local").appName("loadExcel").getOrCreate()
    //com.crealytics.spark.excel就是前面导入的jar里面的一个资源路径
    val frame: DataFrame = session.read.format("com.crealytics.spark.excel")
      .option("useHeader", "true")//是否首行为元数据
      //.option("timestampFormat", "MM-dd-yyyy HH:mm:ss")这个是如果你的数据中有时间数据需要指定一下转换的格式
      //.option("inferSchema", "false")这个可以没有,用的话一般都是用false
      //.option("workbookPassword", "None")文件的密码
      //.option("dataAddress", "0!A1")读取位置0下标sheet的A1开始读取
      .load("C:\\Users\\Desktop\\1.xlsx")
    frame.foreach(println(_))
  }

写出的时候也是使用com.crealytics.spark.excel

val result= spark.sql(sql)
    result.write
      .format("com.crealytics.spark.excel")
      .option("dataAddress", "'学生详情'!A1")
      .option("useHeader", "true")
      .mode("append")
      .save(savefilePath)

你可能感兴趣的:(大数据Spark技术,spark,大数据)