70、Spark SQL之Hive数据源复杂综合案例实战

Hive数据源实战

Spark SQL支持对Hive中存储的数据进行读写。操作Hive中的数据时，必须创建HiveContext，而不是SQLContext。HiveContext继承自SQLContext，但是增加了在Hive元数据库中查找表，以及用HiveQL语法编写SQL的功能。除了sql()方法，HiveContext还提供了hql()方法，从而用Hive语法来编译sql。
使用HiveContext，可以执行Hive的大部分功能，包括创建表、往表里导入数据以及用SQL语句查询表中的数据。查询出来的数据是一个Row数组。
将hive-site.xml拷贝到spark/conf目录下，将mysql connector拷贝到spark/lib目录下

将数据保存到表中

Spark SQL还允许将数据保存到Hive表中。调用DataFrame的saveAsTable命令，即可将DataFrame中的数据保存到Hive表中。与registerTempTable不同，saveAsTable是会将DataFrame中的数据物化到Hive表中的，而且还会在Hive元数据库中创建表的元数据。
默认情况下，saveAsTable会创建一张Hive Managed Table，也就是说，数据的位置都是由元数据库中的信息控制的。当Managed Table被删除时，表中的数据也会一并被物理删除。
registerTempTable只是注册一个临时的表，只要Spark Application重启或者停止了，那么表就没了。而saveAsTable创建的是物化的表，无论Spark Application重启或者停止，表都会一直存在。
调用HiveContext.table()方法，还可以直接针对Hive中的表，创建一个DataFrame。

案例：查询分数大于80分的学生的完整信息
Java版本

public class HiveDataSource {
    public static void main(String[] args) {
        // 首先还是创建SparkConf
        SparkConf conf = new SparkConf().setAppName("HiveDataSourceJava");
        // 创建JavaSparkContext
        JavaSparkContext sparkContext = new JavaSparkContext(conf);
        // 创建HiveContext，注意，这里，它接收的是SparkContext作为参数，不是JavaSparkContext
        HiveContext hiveContext = new HiveContext(sparkContext.sc());
        // 第一个功能，使用HiveContext的sql()方法，可以执行Hive中能够执行的HiveQL语句

        // 判断是否存在student_infos表，如果存在则删除
        hiveContext.sql("drop table if exists student_infos");

        // 判断student_infos表是否不存在，如果不存在，则创建该表
        hiveContext.sql("create table if not exists student_infos(name string, age int)");

        // 将学生基本信息数据导入student_infos表

        hiveContext.sql("load data local inpath '/opt/module/datas/sparkstudy/sql/resource/student_infos.txt' into table student_infos");

        // 用同样的方式给student_scores导入数据
        hiveContext.sql("DROP TABLE IF EXISTS student_scores");
        hiveContext.sql("CREATE TABLE IF NOT EXISTS student_scores (name STRING, score INT)");
        hiveContext.sql("LOAD DATA "
                + "LOCAL INPATH '/opt/module/datas/sparkstudy/sql/resource/student_scores.txt' "
                + "INTO TABLE student_scores");

        // 第二个功能，执行sql还可以返回DataFrame，用于查询
        // 执行sql查询，关联两张表，查询成绩大于80分的学生
        DataFrame goodStudentInfoDF = hiveContext.sql("select i.name, i.age, s.score " +
                "from student_infos i join student_scores s " +
                "on s.name = i.name " +
                "where s.score > 80");

        // 第三个功能，可以将DataFrame中的数据，理论上来说，DataFrame对应的RDD的元素，是Row即可
        // 将DataFrame中的数据保存到hive表中

        // 接着将DataFrame中的数据保存到good_student_infos表中
        hiveContext.sql("drop table if exists good_student_info");
        goodStudentInfoDF.saveAsTable("good_student_info");


        // 第四个功能，可以用table()方法，针对hive表，直接创建DataFrame

        // 然后针对good_student_infos表，直接创建DataFrame
        DataFrame goodStudentInfo = hiveContext.table("good_student_info");
        List collect = goodStudentInfo.javaRDD().collect();
        for(Row row : collect) {
            System.out.println(row.getString(0) + ", " + row.getInt(1) + ", " + row.getInt(2));
        }

    }
}

Scala版本

object HiveDataSource {
  def main(args: Array[String]): Unit = {
    // 首先还是创建SparkConf
    val conf = new SparkConf().setAppName("HiveDataSourceScala")
    // 创建SparkContext
    val sparkContext = new SparkContext(conf)
    // 创建HiveContext，注意，这里，它接收的是SparkContext作为参数，不是JavaSparkContext
    val hiveContext = new HiveContext(sparkContext)
    // 第一个功能，使用HiveContext的sql()方法，可以执行Hive中能够执行的HiveQL语句

    // 判断是否存在student_infos表，如果存在则删除
    hiveContext.sql("drop table if exists student_infos")

    // 判断student_infos表是否不存在，如果不存在，则创建该表
    hiveContext.sql("create table if not exists student_infos(name string, age int)")

    // 将学生基本信息数据导入student_infos表

    hiveContext.sql("load data local inpath '/opt/module/datas/sparkstudy/sql/resource/student_infos.txt' into table student_infos")

    // 用同样的方式给student_scores导入数据
    hiveContext.sql("DROP TABLE IF EXISTS student_scores")
    hiveContext.sql("CREATE TABLE IF NOT EXISTS student_scores (name STRING, score INT)")
    hiveContext.sql("LOAD DATA " + "LOCAL INPATH '/opt/module/datas/sparkstudy/sql/resource/student_scores.txt' " + "INTO TABLE student_scores")

    // 第二个功能，执行sql还可以返回DataFrame，用于查询
    // 执行sql查询，关联两张表，查询成绩大于80分的学生
    val goodStudentInfoDF = hiveContext.sql("select i.name, i.age, s.score " + "from student_infos i join student_scores s " + "on s.name = i.name " + "where s.score > 80")

    // 第三个功能，可以将DataFrame中的数据，理论上来说，DataFrame对应的RDD的元素，是Row即可
    // 将DataFrame中的数据保存到hive表中

    // 接着将DataFrame中的数据保存到good_student_infos表中
    hiveContext.sql("drop table if exists good_student_info")
    goodStudentInfoDF.write.saveAsTable("good_student_info")


    // 第四个功能，可以用table()方法，针对hive表，直接创建DataFrame

    // 然后针对good_student_infos表，直接创建DataFrame
    val goodStudentInfo = hiveContext.table("good_student_info")
    goodStudentInfo.rdd.collect().foreach(
      row => println(row.getString(0) + ", " + row.getInt(1) + ", " + row.getInt(2))
    )
  }
}