spark sql随记

1、spark sql访问hive
将hive-site.xml放入到${SPARK_HOME}/conf下
如果是spark on yarn的cluster模式,由于driver是运行于哪个executor未知,
因此在spark-defaults.conf中指定参数spark.yarn.dist.files   xxx/hive-site.xml

你可能感兴趣的:(spark)