sparkSQL sparkSQL整合hive(spark on hive)

sparkSQL整合hive

  • sparkSQL整合hive
  • sparkSQL整合hive步骤
  • 示例
  • 数据库保存在本地和数据库保存在HDFS
  • 应用场景

sparkSQL整合hive

sparkSQL整合hive,即spark on hive。本质是把hive当做数据源,使用spark作为计算引擎来处理数据。

sparkSQL sparkSQL整合hive(spark on hive)_第1张图片

sparkSQL整合hive步骤

  • 把hive安装目录下conf文件夹里的hive-site.xml拷贝到集群每一个spark安装目录下对应的conf文件夹中

    • 目的:让spark知道存放hive表的元数据的MySQL的相关信息,从而可以通过MySQL得到hive表元数据信息
      在这里插入图片描述
  • 把mySQL的驱动jar包拷贝到每一个spark安装目录下的jars文件夹中

    • 目的:从而可以使用MySQL服务
      在这里插入图片描述
  • 在安装了MySQLjar包的服务器执行写好的脚本

你可能感兴趣的:(Spark)