Spark 如何读取 excel 指定 sheet 中的数据

        最近遇到一个需求,就是使用 spark-excel 读取 excel,需要根据输入的 sheet 页数读取数据。我在网上搜索了一番,却没有合适的答案。

        当然,我第一时间也看了 ExcelOptions 类中的配置属性,也没有 sheet 相关的内容,正当我苦恼时,仔细阅读了一下官方文档,上面说:

        If the sheet name is unavailable, it is possible to pass in an index

        我发现我离问题的解决更近了,官方文档下面的这段代码就是答案。

val df = spark.read.excel(
  header = true,
  dataAddress = "0!B3:C35"
).load("Worktime.xlsx")

        就是这个 dataAddress,让我平白的想我不会想这个配置就是 sheet 的配置,然而看到了这个单词,“数据地址“,我认为这也确实是我应该考虑的方向,真是失误啊。当然在 ExcelOptions 类中有此属性。

        我是用 java 来用 spark api 的。附上我的代码以及注释,相信大家就明白了。

Dataset dataset = sparkSession.read()
          .format("com.crealytics.spark.excel")
          .option("header", true)  // 是否要表头
          .option("dataAddress", dataAddress)  // 第几个 sheet 页 ! 第几行第几列,例如:0!A1:B1
          .load(filePath);  // 加载路径

        如 dataAddress = "0!A1",就代表读取第一个 sheet 页中的数据,从 A1 (A 列第一行)开始读取数据。

        附上 spark-excel 官方文档链接:spark-excel

你可能感兴趣的:(spark,大数据,excel,java)