Spark3.2教程（六）IDEA下Scala开发Spark SQL

        Spark SQL是为了提供对结构化数据处理而推出的技术。
        Spark自带的例子还是比较详尽而浅显易懂的。本次Spark SQL，我们通过研究Spark自带的教程demo来学习。
        Spark自带的demo在examples\src\main目录下，如下图所示，针对相同技术提供了不同语言的实现方式，总体而言还是Scala居多。

        resources文件夹下，是其支持的原始数据文件类型，本次我们使用JSON和Txt文件进行处理。

        json文件内容如下所示：

{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}

        这里特别需要注意的是，以上内容并不符合JSON格式，有明显的语法错误：

• 集合缺少中括号
• {}之间没有逗号
          给它加上[]测试、发现不能正确解析，加上,测试发现能正常解析。在没有阅读源码，通过以上测试结果推断，Spark逐行读入，是以{}开始结束进行解析的，这里没有测试如果大括号内再嵌套大括号会怎样。
          项目中要引入Spark-SQL依赖:

 
    <dependency>
        <groupId>org.apache.sparkgroupId>
        <artifactId>spark-sql_2.13artifactId>
        <version>3.2.0version>
    dependency>

        书写Scala代码进行测试：

  import org.apache.spark.sql.SparkSession

object TestSQL {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .master("local")
      .appName("Spark SQL basic example")
      .config("spark.some.config.option", "some-value")
      .getOrCreate()
    val df = spark.read.json("file:///d:/test_spark/people.json")
    df.show()
    df.createOrReplaceTempView("people")
    spark.sql("select * from  people where age>20").show()
  }
}

        以上代码执行了对全表的查询、年龄大于20的查询。结果如下：


        文本文件内容如下所示：

Michael, 29
Andy, 30
Justin, 19

        文本文件因为没有像JSON文件一样可以表示属性名，所以一般需要通过定义一个实体类的方式，进行属性的映射：

  case class Person(name: String, age: Long)

完整代码如下：

import org.apache.spark.sql.SparkSession


object TestText {
  case class Person(name: String, age: Long)
  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .master("local")
      .appName("Spark SQL basic example")
      .config("spark.some.config.option", "some-value")
      .getOrCreate()
    import spark.implicits._
    val peopleDF = spark.sparkContext
      .textFile("d:/test_spark/people.txt")
      .map(_.split(","))
      .map(attributes => Person(attributes(0), attributes(1).trim.toInt)).toDF()

    // Register the DataFrame as a temporary view
    peopleDF.createOrReplaceTempView("people")
    val teenagersDF = spark.sql("select * from people where age>20")

    // The columns of a row in the result can be accessed by field index
    teenagersDF.map(teenager => "Name: " + teenager(0)).show()
  }
}

        本次查询出年龄大于20的数据，结果如下所示：