配置支持Spark操作Hive表数据,使用Intellij

spark2版本使用SparkSession作为统一入口,所以第一步就是给SparkSession增加Hive支持: enableHiveSupport()

val spark = SparkSession
      .builder()
      .appName("Spark Hive Example").master("local[*]")
      .enableHiveSupport()
      .getOrCreate()

此外需要做的就是把在hive-site.xml文件中添加
hive.metastore.uris thrift://localhost:9083
然后把hive-site.xml放在工程目录src/main/resources下,没有resoucres文件夹的可以新建一个。
使用前要记得启动metastore service:hive --service metastore &

你可能感兴趣的:(Spark,Hive)