Spark读取Hive数据

依赖如下:

       

       

            mysql

            mysql-connector-java

            5.1.26

       

       

            org.apache.spark

            spark-hive_2.12

            2.4.5

       

       

            org.apache.spark

            spark-sql_2.12

            ${spark.version}

       

       

       

            com.fasterxml.jackson.module

            jackson-module-scala_2.12

            2.10.3

       

       

            com.fasterxml.jackson.module

            jackson-module-jaxb-annotations

            2.10.3

       

       

            com.fasterxml.jackson.core

            jackson-databind

            2.10.3

       

       

            com.fasterxml.jackson.core

            jackson-annotations

            2.10.3

       

def main(args: Array[String]):Unit = {

"com.bytedance.connectHive"

    System.setProperty("HADOOP_USER_NAME", "hadoopadmin")

// 创建sparkSession 对象

    val spark = SparkSession

.builder()

.master("local[2]")

.appName("Spark Hive Example")

.config("spark.sql.warehouse.dir", "hdfs://cdhalone:9000/user/hive/warehouse")

.enableHiveSupport()

.getOrCreate()

import spark.implicits._

import spark.sql

spark.sql("show databases").show

spark.sql("use for_zuoye").show

spark.sql("show tables").show(100)

spark.sql("set hive.exec.mode.local.auto = true;").show

spark.sql("select * from window01").show

spark.sql("insert into window01 values ('1','2',3)").show

spark.sql("select * from window01").show

spark.close()

}