HDP3.1.4中hive和spark看到的表不一致(严格来说,互相看不到对方的表)

1.HDP3之前,有spark和spark2两种服务,这两种服务的client配置文件:

/etc/spark/conf/hive-site.xml 和/etc/spark2/conf/hive-site.xml里面都只有一个配置项:

  
    
    
      hive.metastore.uris
      thrift://XX-121-116:9083
    

2.HDP3之后,只有spark2服务,其client配置文件:

/etc/spark2/conf/hive-site.xml为:

 
    
    
      hive.exec.scratchdir
      /tmp/spark
    
    
    
      hive.metastore.client.connect.retry.delay
      5
    
    
    
      hive.metastore.client.socket.timeout
      1800
    
    
    
      hive.metastore.uris
      thrift://XX-124-45:9083
    
    
    
      hive.server2.enable.doAs
      false
    
    
    
      hive.server2.thrift.http.port
      10002
    
    
    
      hive.server2.thrift.port
      10016
    
    
    
      hive.server2.transport.mode
      binary
    
    
    
      metastore.catalog.default
      spark
    

 其他没啥,主要是这个配置:metastore.catalog.default=spark,这个配置指定了spark-sql命名空间用spark自己的,这样就会导致spark的库hive看不到,hive的库spark看不到。只保留hive.metastore.uris,其他全部去掉,就可以了。

https://blog.csdn.net/u011940366/article/details/99850247

https://community.cloudera.com/t5/Support-Questions/Spark-unable-to-connect-Hive-database-in-HDP-3-0-1/td-p/241420/page/3

你可能感兴趣的:(大数据运维之ambari日常)