spark sql 无法访问 hive metastore问题解决

Spark SQL on Hive是Shark的一个分支，是HIVE执行分析引擎的一个重要利器。在Spark 1.5.1的时候，可以非常简单地在spark shell中进行Hive的访问，然而到了Spark 1.5.2时，发现进入Spark Shell的时候，总是出现报错，其原因总是无法访问hive的metastore,从而无法进行各种操作，相当的烦人的。

看了说明，说是要配置hive thrift服务，然而总是报各种失败! 困扰了很多天，终于搞定了。于是在这边将过程写下来。

(1）进行HIVE的配置

在HIVE配置中

                hive.metastore.warehouse.dir
                hdfs://master:9000/user/hive/warehouse
       

    
        javax.jdo.option.ConnectionURL
        jdbc:mysql://IP:3306/hive?createDatabaseIfNotExist=true
    
    
        javax.jdo.option.ConnectionDriverName
        com.mysql.jdbc.Driver
    
    
        javax.jdo.option.ConnectionUserName
        root
    
    
        javax.jdo.option.ConnectionPassword
        ndscbigdata
    

在spark目录下配置，得添加

      hive.metastore.uris
      thrift://IP:9083
    

(2) 开启hive服务
 

hive --service metastore

（3） 开启thrift服务

./sbin/start-thriftserver.sh

（4）测试：beeline，进行连接，输入用户名和密码，轻松搞定！