Spark sql 连接hive时,读取不到hive元数据问题

问题:


Spark sql 连接hive时,读取不到hive元数据问题_第1张图片

再来看看,$SPARK_HOME


Spark sql 连接hive时,读取不到hive元数据问题_第2张图片

原因分析:


Spark sql 连接hive时,读取不到hive元数据问题_第3张图片

出现上述的情况原因就是spark没有检测到hive存在,所以自己创建了默认元数据。

解决方案:

hive:

修改hive-site.xml:添加这个


启动hive metastore:

hive --service metastore

后台启动:

hive --service metastore 2>&1 >> /home/log/hive_metastore.log &

spark 代码中:

添加


Spark sql 连接hive时,读取不到hive元数据问题_第4张图片

再次启动程序,就可以了。

PS:我的spark的版本是2.3.3 暂时只发现这一种方式解决。一些老版本应该可以直接把hive-site.xml复制到spark目录下,可以起到同样的效果(这种方法官方不推荐)

你可能感兴趣的:(Spark sql 连接hive时,读取不到hive元数据问题)