Java调用Hive-metastore接口

需求：对hive的元数据进行查询，之前师姐的实现方法是通过对MySql的hive元数据数据库操作，进而实现查询。但是该方法太过于麻烦和复杂，在网上查询之后发现，hive提供Hive-metastore service，能比较完美的解决这一需求。

1. 为什么有Hive-metastore service

​ 许多第三方框架需要使用hive 的元数据如spark，所有hive需要开发Hive-metastore service的服务接口。

同理Hive-metastore service提供了JAVA的jar，给java程序调用

2. JAVA怎么用Hive-metastore

​ 去maven仓库搜索hive metastore，能找到对应的jar包。之间在maven项目中引入hive metastore的依赖。

如下面所示：

1. 依赖

<dependency>
    <groupId>org.apache.hivegroupId>
    <artifactId>hive-metastoreartifactId>
    <version>2.3.4version>
dependency>

1. java连接Hive-metastore service代码

//HiveMetaStore的客户端
private HiveMetaStoreClient hiveMetaStoreClient;

/**
 * 功能描述:
 *          设置HiveJDBC的数据源
 */
private void setHiveMetaStoreConf(DbInform dbInform) {
    HiveConf hiveConf = new HiveConf();
    hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());
    try {
        //设置hiveMetaStore服务的地址
        this.hiveMetaStoreClient = new HiveMetaStoreClient(hiveConf);
        //当前版本2.3.4与集群3.0版本不兼容，加入此设置
      this.hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");
    } catch (MetaException e) {
        e.printStackTrace();
    } catch (TException e) {
        e.printStackTrace();
    }
}

注意：

1. hiveConf.set("hive.metastore.uris",dbInform.getDbMetastoreUrl());

   1. 其中hiveConf的配置对象也可以通过配置文件读取配置。

      例如，hive-site.xml中的配置如下

      <configuration>
          <property>
              <name>hive.metastore.urisname>     
              <value>thrift://110.131.23.14:9083value>
          property>
      configuration>
      

      hiveConf中引入：

      ​ hiveConf.addResource("hive-site.xml")

   2. “hive.metastore.uris”属性是设置Hive-metastore service的地址，地址格式如：thrift://110.131.23.14:9083（默认端口9083，必须是hive集群中Hive-metastore service所在的ip）。

2. hiveMetaStoreClient.setMetaConf("hive.metastore.client.capability.check","false");

   由于我的集群上的hive是3.0版本，但是hive-jdbc的3.0jar包会与spring boot2.0出现包冲突，导致spring boot无法启动。所以无奈之下，hive-jdbc使用了2.3.4版本，因此HiveMetaStore的jar版本也必须使用2.x.x的版本，不然会出现找不到包的错误。而使用2.x.x的版本与集群3.0版本连接会提示客户端版本太低的错误，控制台提示配置hive.metastore.client.capability.check为fasle。特别提示：该配置写在配置文件中似乎没有作用。

3. Hive-metastore的java接口

// 由数据库的名称获取数据库的对象(一些基本信息)
Database database= this.hiveMetaStoreClient.getDatabase(dbName);
// 根据数据库名称获取所有的表名
List<String> tablesList = this.hiveMetaStoreClient.getAllTables(dbName);
// 由表名和数据库名称获取table对象(能获取列、表信息)
Table table= this.hiveMetaStoreClient.getTable(dbName,tableName);
// 获取所有的列对象
List<FieldSchema> fieldSchemaList= table.getSd().getCols();
// 关闭当前连接
this.hiveMetaStoreClient.close();

注意：使用完之后关闭连接this.hiveMetaStoreClient.close();