hive-metastore结构

Hive MetaStore数据库表结构图

整体概括

DBS

Columns: DB_ID、DESC、DB_LOCATION_URI、NAME、OWNER_NAME、OWNER_TYPE
DBS 表记录基本的db信息，其中DB_ID为其主键，同时也是FUNC_RU、FUNCS、DB_PRIVS、DATABASE_PARAMS、以及TBLS的外键。
　　一般来说，在hive meta初始化时都会自动创建一个名叫default的库，随后通过业务发展以及数据治理等需求，可进行不同业务域库的划分。

FUNC 表是用来存储udf的基本信息，一个UDF只能对应一个库下的表。FUNC_RU表，用于存储该udf的类型及指向的路径。

DB_PRIVS 表记录该DB下的权限记录信息，具体没怎么研究，因为现在更多的集成开源的类似于sentry、range等成熟的权限框架。

DATABASE_PARAMS 表记录DB的一些扩展信息，便于进行特殊属性的扩展。

TBLS 表自然是记录该DB下的所有Table信息。对应唯一的DB_ID。

TBLS

Columns: TBL_ID、CREATE_TIME、DB_ID,LAST_ACCESS_TIME、OWNER、RETENTION、SD_ID、TBL_NAME、TBL_TYPE、VIEW_EXPANDED_TEXT、VIEW_ORIGNAL_TEXT

首先，TBLS表，这个表主要记录了table的一些基本信息，包括表名、创建时间、类型，以及SD_ID等信息。tbl_id为TBLS的主键，同时也是TABLE_PARAMS、TBL_COL_PRIVS、IDXS、TBL_PRIVS、SDS、PARTITIONS、PARTITION_KEYS、TAB_COL_STATS表的外键。

每个TBLS都对应唯一的DB_ID,取决于你在哪个db下创建的表。在创建表写入meta的同时，也会创建相应的物理路径。同时会在SDS表中加入DDL时设置的input output、表的location以及SERDE信息（具体下面再说）

TBL_PRIVS、TBL_COL_PRIVS表记录该hive表的表及列权限认证信息。PARTITIONS表记录该表的DDL分区的信息,对于PARTITION_KEYS以及PARTITION_VALUES都是用于PartName的拼接获取。（可查看本博客 hive metadata源码解析）

(IDXS 与 TAB_COL_STATS还没有深入研究，后续添加）

PARTITIONS

Columns: PART_ID、CREATE_TIME、LAST_ACCESS_TIME、PART_NAME、SD_ID、TBL_ID

PARTITIONS表，通过表名也能才想到，它是partition分区存储的元数据信息。

PART_ID为PARTITIONS表的主键，同时也是PART_COL_STATS、PART_PRIVS、PARTITION_KEY_VALS、PARTITION_PARAMS、DATABASE_PARAMS表的外键。

Partition表在metastore中是相当重要的表，关系到partition的元数据存取（具体可参考本博客hive metastore partition篇）

SDS

Columns: SD_ID、CD_ID、INPUT_FORMAT、IS_COMPRESSED、IS_STOREDASSUBDIRECTORIES、LOCATION\NUM_BUCKETS、OUTPUT_FORMAT、SERDE_ID

SDS表主要包含计算引擎运行时需要的input与output 、location路径以及序列化的class信息。SD_ID为该表的主键，同时也是PARTITIONS、BUCKETING_COLS、SKEWD_COL_NAMES、SD_PARAMS、SORT_COLS、SKEWED_VALUES、IDXS的外键。

TBLS

记录数据表的信息

字段	解释
TBL_ID	在hive中创建表的时候自动生成的一个id，用来表示，主键
CREATE_TIME	创建的数据表的时间，使用的是时间戳
DBS_ID	这个表是在那个数据库里面
LAST_ACCESS_TIME	最后一次访问的时间戳
OWNER	数据表的所有者
RETENTION	保留时间
SD_ID	标记物理存储信息的id
TBL_NAME	数据表的名称
TBL_TYPE	数据表的类型,MANAGED_TABLE, EXTERNAL_TABLE, VIRTUAL_VIEW, INDEX_TABLE
VIEW_EXPANDED_TEXT	展开视图文本，非视图为null
VIEW_ORIGINAL_TEXT	原始视图文本，非视图为null

TBLS的SD_ID与SDS的SD_ID进行关联,TBLS的DB_ID与DBS的DB_ID进行关联,相关的thrift类为Table,StorageDescriptor。

//由于TBLS与DBS有关联，可以看到当前表是数据那个数据库。
//表的信息
mysql> select * from tbls where tbl_id=71 and db_id=1;
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+
| TBL_ID | CREATE_TIME | DB_ID | LAST_ACCESS_TIME | OWNER  | RETENTION | SD_ID | TBL_NAME | TBL_TYPE      | VIEW_EXPANDED_TEXT | VIEW_ORIGINAL_TEXT |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+
|     71 |  1548340018 |     1 |                0 | hadoop |         0 |    91 | emp      | MANAGED_TABLE | NULL               | NULL               |
+--------+-------------+-------+------------------+--------+-----------+-------+----------+---------------+--------------------+--------------------+
//数据库的信息
mysql> select * from dbs where db_id=1;
+-------+-----------------------+-------------------------------------------+---------+------------+------------+
| DB_ID | DESC                  | DB_LOCATION_URI                           | NAME    | OWNER_NAME | OWNER_TYPE |
+-------+-----------------------+-------------------------------------------+---------+------------+------------+
|     1 | Default Hive database | hdfs://hadoop001:9000/user/hive/warehouse | default | public     | ROLE       |
+-------+-----------------------+-------------------------------------------+---------+------------+------------+

Version

这个表是记录Hive的版本，这个表里面只能有一条记录，这样Hive才能启动。在创建源数据表的时候，自动写入的信息。相关的thrift类为version。
在初始化源数据表的时候，插入一条数据。

INSERT INTO VERSION (VER_ID, SCHEMA_VERSION, VERSION_COMMENT) VALUES (1, '1.1.0', 'Hive release version 1.1.0');
//获取到的结果为：
mysql> select * from version;
+--------+----------------+--------------------------------------+
| VER_ID | SCHEMA_VERSION | VERSION_COMMENT                      |
+--------+----------------+--------------------------------------+
|      1 | 1.1.0          | Set by MetaStore hadoop@10.140.42.16 |
+--------+----------------+--------------------------------------+

DBS

记录数据库的信息

字段	解释
DB_ID	数据库的编号,默认的数据库编号为1,如果创建其他数据库的时候,这个字段会自增,主键
DESC	对数据库进行一个简单的介绍
DB_LOCATION_URI	数据库的存放位置，默认是存放在hdfs://ip:9000/user/hive/warehouse，如果是其他数据库，就在后面添加目录,默认位置可以通过参数hive.metastore.warehouse.dir来设置
NAME	数据库的名称
OWNER_NAME	数据库所有者名称
OWNER_TYPE	数据库所有者的类型

DBS的DB_ID与DATABASE_PARAMS的DB_ID进行关联。
相关的thrift类为Database

#查看所有的数据库
mysql> select * from dbs;
+-------+-----------------------+------------------------------------------------------+---------+------------+------------+
| DB_ID | DESC                  | DB_LOCATION_URI                                      | NAME    | OWNER_NAME | OWNER_TYPE |
+-------+-----------------------+------------------------------------------------------+---------+------------+------------+
|     1 | Default Hive database | hdfs://hadoop001:9000/user/hive/warehouse            | default | public     | ROLE       |
|     2 | NULL                  | hdfs://hadoop001:9000/user/hive/warehouse/xiaoyao.db | xiaoyao | hadoop     | USER       |
+-------+-----------------------+------------------------------------------------------+---------+------------+------------+

TABLE_PARAMS

字段	解释
TBL_ID	数据的编号
PARAM_KEY	参数
PARAM_VALUE	参数的值

TABLE_PARAMS的TBL_ID与TBLS的TBL_ID的进行关联,TBL_ID与PARAM_KEY作为联合主键。

每个表的信息基本上都有如下属性：

参数	值
COLUMN_STATS_ACCURATE	精确统计列
numFiles	文件数
numRows	行数
rawDataSize	原始数据大小
totalSize	当前大小
transient_lastDdlTime	最近一次操作的时间戳

//对tbls中的数据表进行一个介绍:文件的数量、数据行数、数据总的大小等介绍
mysql> select * from table_params where tbl_id=71;
+--------+-----------------------+-------------+
| TBL_ID | PARAM_KEY             | PARAM_VALUE |
+--------+-----------------------+-------------+
|     71 | COLUMN_STATS_ACCURATE | true        |
|     71 | numFiles              | 1           |
|     71 | numRows               | 0           |
|     71 | rawDataSize           | 0           |
|     71 | totalSize             | 701         |
|     71 | transient_lastDdlTime | 1548340028  |
+--------+-----------------------+-------------+

SDS

此对象包含有关属于表的数据的物理存储的所有信息，数据表的存储描述

字段	解释
SD_ID	主键
CD_ID	数据表编号
INPUT_FORMAT	数据输入格式
IS_COMPRESSED	是否对数据进行了压缩
IS_STOREDASSUBDIRECTORIES	是否进行存储在子目录
LOCATION	数据存放位置
NUM_BUCKETS	分桶的数量
OUTPUT_FORMAT	数据的输出格式
SERDE_ID	序列和反序列的信息

SDS的SERDE_ID与SERDES的SERDE_ID进行关联，SDS的CD_ID与CDS的CD_ID进行关联。相关的thrift表为StorageDescriptor。

//数据的存储格式
mysql> select * from sds where sd_id=91;
+-------+-------+------------------------------------------+---------------+---------------------------+-----------------------------------------------+-------------+------------------------------------------------------------+----------+
| SD_ID | CD_ID | INPUT_FORMAT                             | IS_COMPRESSED | IS_STOREDASSUBDIRECTORIES | LOCATION                                      | NUM_BUCKETS | OUTPUT_FORMAT                                              | SERDE_ID |
+-------+-------+------------------------------------------+---------------+---------------------------+-----------------------------------------------+-------------+------------------------------------------------------------+----------+
|    91 |    71 | org.apache.hadoop.mapred.TextInputFormat |               |                           | hdfs://hadoop001:9000/user/hive/warehouse/emp |          -1 | org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat |       91 |
+-------+-------+------------------------------------------+---------------+---------------------------+-----------------------------------------------+-------------+------------------------------------------------------------+----------+

CDS

记录数据表的编号

字段	解释
CD_ID	主键,记录数据表的编号

这个是一个自增的序列，就是一个标识。

SERDES

记录序列化和反序列化信息

字段	解释
SERDE_ID	主键,记录序列化的编号
NAME	序列化和反序列化名称，默认为表名
SLIB	使用的是哪种序列化方式

相关的thrift表为SerDeInfo

//使用何种序列化
mysql> select * from serdes where serde_id=91;
+----------+------+----------------------------------------------------+
| SERDE_ID | NAME | SLIB                                               |
+----------+------+----------------------------------------------------+
|       91 | NULL | org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe |
+----------+------+----------------------------------------------------+

SERDES_PARAMS

字段	解释
SERDE_ID	主键,记录序列化的编号
PARAM_KEY	参数名称
PARAM_VALUE	参数的值

SERDES_PARAMS的SERDE_ID与SERDES的SERDE_ID进行关联。

//序列化的方式
mysql> select * from serde_params where serde_id=91;
+----------+----------------------+-------------+
| SERDE_ID | PARAM_KEY            | PARAM_VALUE |
+----------+----------------------+-------------+
|       91 | field.delim          |                |
|       91 | serialization.format |                |
+----------+----------------------+-------------+

#DATABASE_PARAMS

字段	解释
DB_ID	数据库的编号
PARAM_KEY	参数名称
PARAM_VALUE	参数值

DB_ID是一个主键，使得DBS与DATABASE_PARAMS关联。

TAB_COL_STATS

数据表的列信息统计

字段	解释
CS_ID	列统计编号
AVG_COL_LEN	数据的平均长度
MAX_COL_LEN	数据的最大长度
COLUMN_NAME	列的名字
COLUMN_TYPE	列的类型
DB_NAME 数据库的名称
BIG_DECIMAL_HIGH_VALUE	数据中最大的Decimal值
BIG_DECIMAL_LOW_VALUE	数据中最小的Decimal值
DOUBLE_HIGH_VALUE	数据中最大的Double值
DOUBLE_LOW_VALUE	数据中最小的Double值
LAST_ANALYZED	最新一次解析的时间戳
LONG_HIGH_VALUE	数据中最大的Long值
LONG_LOW_VALUE	数据中最小的Long值
NUM_DISTINCTS	不同记录的数量
NUM_FALSES	为false的数量
NUM_NULLS	为null的数量
NUM_TRUES	为true的数量
TBL_ID	数据表的编号
TABLE_NAME	数据表的名称

通过tbl_id使得TAB_COL_STATS与tbls关联。

相关的thrift类有：BooleanColumnStatsData、DoubleColumnStatsData、LongColumnStatsData、StringColumnStatsData、BinaryColumnStatsData、
Decimal、DecimalColumnStatsData、ColumnStatisticsData、ColumnStatisticsObj、ColumnStatisticsDesc、ColumnStatistics

Sort_COLS

记录要进行排序的列

字段	解释
SD_ID	数据表物理信息描述的编号
COLUMN_NAME	列的名称
ORDER	排序方式

COLUMNS_V2

用于描述列的信息

字段	解释
CD_ID	表的编号
COMMENT	相关描述信息
COLUMN_NAME	列的名称
TYPE_NAME	类的类型

这个表与cds通过cd_id关联。

mysql> select * from columns_v2 where cd_id=71;
+-------+---------+-------------+-----------+-------------+
| CD_ID | COMMENT | COLUMN_NAME | TYPE_NAME | INTEGER_IDX |
+-------+---------+-------------+-----------+-------------+
|    71 | NULL    | common      | double    |           6 |
|    71 | NULL    | deptno      | int       |           7 |
|    71 | NULL    | empno       | int       |           0 |
|    71 | NULL    | ename       | string    |           1 |
|    71 | NULL    | hiredate    | string    |           4 |
|    71 | NULL    | job         | string    |           2 |
|    71 | NULL    | mgr         | int       |           3 |
|    71 | NULL    | sal         | double    |           5 |
+-------+---------+-------------+-----------+-------------+

FUNCS

记录hive中函数的信息

字段	解释
FUNC_ID	函数的编号
CLASS_NAME	自定义函数的类的名称
CREATE_TIME	函数创建时间
DB_ID	作用于那个数据库
FUNC_NAME	方法名称
FUNC_TYPE	方法类型
OWNER_NAME	所有者名称
OWNER_TYPE	所有者类型

这个表里面记录一些hive自带的函数和用户自定义的函数。
相关的thrift类为Function。

FUNC_RU

对函数的相关参数进行描述。

字段	解释
FUNC_ID	函数的编号
RESOURCE_TYPE	资源的类型
RESOURCE_URI	资源的uri

相关的thrift类为：ResourceUri、ResourceType。

分区表

PARTITIONS

字段	解释
PART_ID	分区的编号
CREATE_TIME	创建分区的时间
LAST_ACCESS_TIME	最近一次访问时间
PART_NAME	分区的名字
SD_ID	存储描述的id
TBL_ID	数据表的id

相关的thrift类为：Partition。

#记录要按照某个字段的值进行分区
mysql> select * from partitions;
+---------+-------------+------------------+-----------------+-------+--------+
| PART_ID | CREATE_TIME | LAST_ACCESS_TIME | PART_NAME       | SD_ID | TBL_ID |
+---------+-------------+------------------+-----------------+-------+--------+
|      16 |  1543046086 |                0 | pt=xiaoyao      |    46 |     26 |
|      21 |  1543071202 |                0 | date=2016-05-05 |    56 |     32 |
+---------+-------------+------------------+-----------------+-------+--------+

PARTITION_PARAMS

字段	解释
PART_ID	分区的编号
PARAM_KEY	参数
PARAM_VALUE	参数的值

mysql> select * from partition_params where part_id=21;
+---------+-----------------------+-------------+
| PART_ID | PARAM_KEY             | PARAM_VALUE |
+---------+-----------------------+-------------+
|      21 | COLUMN_STATS_ACCURATE | true        |
|      21 | numFiles              | 1           |
|      21 | numRows               | 0           |
|      21 | rawDataSize           | 0           |
|      21 | totalSize             | 604236      |
|      21 | transient_lastDdlTime | 1543071202  |
+---------+-----------------------+-------------+

PARTITION_KEYS

字段	解释
TBL_ID	数据表的编号
PKEY_COMMENT	分区字段的描述
PKEY_NAME	分区字段的名称
PKEY_TYPE	分区字段的类型

相关的thrift类为：FieldSchema。

//指定按照那个字段进行分区
mysql> select * from partition_keys;
+--------+--------------+-----------+-----------+-------------+
| TBL_ID | PKEY_COMMENT | PKEY_NAME | PKEY_TYPE | INTEGER_IDX |
+--------+--------------+-----------+-----------+-------------+
|     26 | NULL         | pt        | string    |           0 |
|     32 | NULL         | date      | string    |           0 |
+--------+--------------+-----------+-----------+-------------+

PARTITION_KEY_VALS

字段	解释
PART_ID	分区编号
PART_KEY_VAL	分区字段的值

//按照值分区之后，这是第几个分区
mysql> select * from partition_key_vals;
+---------+--------------+-------------+
| PART_ID | PART_KEY_VAL | INTEGER_IDX |
+---------+--------------+-------------+
|      16 | xiaoyao      |           0 |
|      21 | 2016-05-05   |           0 |
+---------+--------------+-------------+

查看表的信息

//可以使用命令查看表的所有信息，分区表亦如是。
hive (default)> desc formatted emp;
#表类的信息，对应的表为：COLUMNS_V2
# col_name              data_type               comment             
         
empno                   int                                         
ename                   string                                      
job                     string                                      
mgr                     int                                         
hiredate                string                                      
sal                     double                                      
common                  double                                      
deptno                  int                                         
         
# 数据表的详细信息 ，对应的数据表为：TBLS         
Database:               default                  
Owner:                  hadoop                   
CreateTime:             Thu Jan 24 22:26:58 CST 2019     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://hadoop001:9000/user/hive/warehouse/emp    
Table Type:             MANAGED_TABLE            
Table Parameters:        
    COLUMN_STATS_ACCURATE   true                
    numFiles                1                   
    numRows                 0                   
    rawDataSize             0                   
    totalSize               701                 
    transient_lastDdlTime   1548340028          
         
# 表的存储信息 对应的数据表为：TBLS        
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe   
InputFormat:            org.apache.hadoop.mapred.TextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat   
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:         
    field.delim             \t                  
    serialization.format    \t                  
Time taken: 0.253 seconds, Fetched: 39 row(s)

分区表信息

hive (xiaoyao)> desc formatted emp_test_p;
#列的信息
# col_name              data_type               comment             
         
empno                   int                                         
ename                   string                                      
job                     string                                      
mgr                     int                                         
hiredate                string                                      
sal                     double                                      
common                  double                                      
deptno                  int                                         
 
# 分区信息       
# col_name              data_type               comment             
         
pt                      string                                      
         
# 表信息        
Database:               xiaoyao                  
Owner:                  hadoop                   
CreateTime:             Sat Nov 24 15:50:25 CST 2018     
LastAccessTime:         UNKNOWN                  
Protect Mode:           None                     
Retention:              0                        
Location:               hdfs://hadoop001:9000/user/hive/warehouse/xiaoyao.db/emp_test_p  
Table Type:             MANAGED_TABLE            
Table Parameters:        
    transient_lastDdlTime   1543045825          
         
# 存储信息       
SerDe Library:          org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe   
InputFormat:            org.apache.hadoop.mapred.TextInputFormat     
OutputFormat:           org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat   
Compressed:             No                       
Num Buckets:            -1                       
Bucket Columns:         []                       
Sort Columns:           []                       
Storage Desc Params:         
    field.delim             \t                  
    serialization.format    \t                  

删除表

1. Hive中删除
   drop table emp;
2. 在MetaStore删除数据表

drop procedure if exists t1;
create  procedure t1 ( in tbinput int) 
begin
    declare v_sd_id int ;
    declare v_part_id int ;
    declare v_cd_id int ;
    declare v_serde_id int ;
 
    select tbinput;
    select SD_ID into v_sd_id from tbls where TBL_ID = tbinput;
    select part_id  into v_part_id from partitions where tbl_id = tbinput;
    select cd_id , serde_id into v_cd_id,v_serde_id from sds where sd_id = v_sd_id;
    select v_sd_id,v_part_id,v_cd_id,v_serde_id;
 
    if v_part_id is not  null then 
        delete from partition_params where part_id = v_part_id;
        delete from partition_key_vals where part_id = v_part_id;
 
    end if;
    delete from serdes where serde_id = v_serde_id;
    delete from serde_params where serde_id = v_serde_id;
    delete from columns_v2 where cd_id = v_cd_id;
    delete from sds where sd_id = v_sd_id;
    delete from partitions where tbl_id = tbinput;
    delete from partition_keys where tbl_id = tbinput;
    delete from table_params where tbl_id = tbinput;
    delete from tbls where tbl_id = tbinput;
 
end ;

存放sql语句的位置：hive-1.1.0-cdh5.7.0/metastore/scripts/upgrade/mysql/hive-schema-1.1.0.mysql.sql
存放thrift相关文件的位置：hive-1.1.0-cdh5.7.0/metastore/if/hive_metastore.thrift
存放java相关文件的位置：hive-1.1.0-cdh5.7.0/metastore/src/gen/thrift/gen-javabean/org/apache/hadoop/hive/metastore/api

参考文档

https://crazymatrix.iteye.com/blog/2088338
http://www.icode9.com/content-2-120314.html
https://blog.csdn.net/Gavin_chun/article/details/78416037
https://blog.csdn.net/qq_32252917/article/details/78458115
https://mp.weixin.qq.com/s?__biz=MzA3ODUxMzQxMA==&mid=2663993556&idx=1&sn=0e5291bd63426d747f32a7fd05128caa&scene=21#wechat_redirect