**
**
spark on hive 的话就是通过spark-sql使用hive语句,操作hive,底层运行的还是spark rdd。
是把hive查询从mapreduce的mr(hadoop计算引擎)操作替换为spark rdd(spark执行引擎),相对于spark on hive这个实现起来要复杂的多,必须重新编译你的spark和导入jar包,不过目前大部分使用的是spark on hive
执行hql时,先到mysql元数据库中查找描述信息,然后解析hql并根据描述信息生成mr任务(执行mr时会执行的很慢)
使用spark SQL整合hive其实就是让sparksql去加载hive的元数据库,然后通过sparksql执行引擎去操作hive表内的数据
首先需要开启hive的元数据库服务,让sparksql能够加载元数据。
1,hive开启metastore服务
<1>,修改hive/conf/hive-site.xml 新增如下配置
hive.metastore.warehouse.dir
/user/hive/warehouse
hive.metastore.local
false
hive.metastore.uris
thrift://node01:9083
<2>后台启动hive metastore服务
nohup /export/servers/hive/bin/hive --service metastore 2>&1 >> /var/log.log &
2,sparksql整合hive metastore
spark有一个内置的metastore,使用derby嵌入式数据库保存数据,但是这种方式不适合生产环境,因为这种模式同一时间只能有一个sparksession使用,所以生产环境更推荐使用hive的metastore。
spark整合hive的metastore主要思路就是要通过配置能够访问它,并且能够使用hdfs保存warehouse,所以可以直接拷贝hadoop和hive的配置目录。
hive-site.xml 元数据仓库的位置信息
core-site.xml 安全相关的配置
hdfs-site.xml hdfs相关的配置
我们进入shell窗口,执行以下命令
将hive目录下的hive-site.xml拷贝至spark安装目录下
cp /export/servers/hive-1.1.0-cdh5.14.0/conf/hive-site.xml
/export/servers/spark/conf
将hadoop安装目录下的core-site.xml和 hdfs-site.xml拷贝至spark安装目录下
cp /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/core-site.xml /export/servers/spark/conf
cp /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/hdfs-site.xml /export/servers/spark/conf
提示:使用idea本地测试直接把以上配置文件放在resources目录即可
import org.apache.spark.sql.SparkSession
object HiveSupport {
def main(args: Array[String]): Unit = {
//创建sparkSession
val spark = SparkSession
.builder()
.appName("HiveSupport")
.master("local[*]")
.config("spark.sql.warehouse.dir", "hdfs://node01:8020/user/hive/warehouse")
.config("hive.metastore.uris", "thrift://node01:9083")
.enableHiveSupport()//开启hive语法的支持
.getOrCreate()
// 设置日志级别
spark.sparkContext.setLogLevel("WARN")
//查看有哪些表
spark.sql("show tables").show()
//创建表
spark.sql("CREATE TABLE person (id int, name string, age int) row format delimited fields terminated by ' '")
//加载数据,数据为当前SparkDemo项目目录下的person.txt(和src平级)
spark.sql("LOAD DATA LOCAL INPATH 'in/person.txt' INTO TABLE person")
//查询数据
spark.sql("select * from person ").show()
spark.stop()
}
}