spark-sql on hve配置文件

hive-site.xml

 

       
                hive.insert.into.multilevel.dirs
                true
                允许生成多级目录
       

       
                hive.exec.stagingdir
                hdfs://mini:9000/hive_tmp/cache
                spark-sql任务临时文件暂放目录
       

       
                javax.jdo.option.ConnectionURL
                jdbc:mysql://mini:3306/hive?createDatabaseIfNotExist=true&useSSL=false
       
       
                javax.jdo.option.ConnectionDriverName
                com.mysql.jdbc.Driver
       
       
                javax.jdo.option.ConnectionUserName
                root
       

       
                javax.jdo.option.ConnectionPassword
                123456
       

spark-defaults.conf

spark.yarn.jars hdfs://mini:9000/home/hadoop/spark_jars/*
spark.sql.adaptive.enabled true
 

 

 

 

将spark目录下的lib包上传到配置文件指定的目录 hdfs://mini:9000/home/hadoop/spark_jars/*