hive元数据信息对应的MySQL数据库表

目录

概述

一、存储hive版本的原数据表（VERSION）

二、元数据表（DBS、DATABASE_PARAMS）

三、视图相关的元数据表（TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联）

四、hive文件存储信息相关的元数据表（SDS、SD_PARAMS、SERDES、SERDE_PARAMS）

五、表字段相关的元数据表（COLUMNS_V2）

六、表分区相关的元数据表（PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS）

---

概述

        在上篇博客“hive基础”中写过，hive的元数据基本常用存储在MySQL中，本文主要介绍一下MySQL中主要的表。查看MySQL数据库中hive存放的库，可能查到总共存在57张表

                                                            

一、存储hive版本的原数据表（VERSION）

• 字段介绍

  VER_ID	SCHEMA_VERSION	VERSION_COMMENT
  ID主键	Hive版本	版本说明
  1	2.1.2000	Hive release version 2.1.2000

这个表结构相对简单，但是作用却很重要。如果这个表出问题，hive客户端将无法使用。会报错“Table ‘hive.version’ doesn’t exist”

二、元数据表（DBS、DATABASE_PARAMS）

1、DBS（存储hive中所有的数据库的基本信息）

• 字段介绍

  元数据表字段	说明	示例数据
  DB_ID	数据库ID	2
  DESC	数据库描述	测试库
  DB_LOCATION_URI	数据库HDFS路径	hdfs://hua4:8020/apps/hive/warehouse
  NAME	数据库名	zq121
  OWNER_NAME	数据库所有者用户名	zq121
  OWNER_TYPE	所有者角色	ROLE

2、DATABASE_PARAMS（存储数据库的相关参数，在create database时候用with dbproperties（property_name=property_value，...）指定的参数）

• 字段介绍

  元数据表字段	说明	示例数据
  DB_ID	数据库ID	2
  PARAM_KEY	参数名	createdby
  PARAM_VALUE	参数值	zq121

• 注：DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联

三、视图相关的元数据表（TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联）

1、TBLS（存储hive表、视图、索引表的基本信息）

• 字段介绍

  元数据表字段	说明	示例数据
  TBL_ID	表ID	1
  CREATE_TIME	创建时间	1547447212
  DB_ID	数据库ID	2，对应DBS中的DB_ID
  LAST_ACCESS_TIME	上次访问时间	1547621967
  OWNER	所有者	zq121444
  RETENTION	保留字段	0
  SD_ID	序列化配置信息	86，对应SDS表中的SD_ID
  TBL_NAME	表名	zq121
  TBL_TYPE	表类型	MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
  VIEW_EXPANDED_TEXT	视图的详细HQL语句	select `zq121`.`pt`, `zq121`.`pcid` from `zq121444`.`zq121`
  VIEW_ORIGINAL_TEXT	视图的原始HQL语句	select * from zq121

2、TABLE_PARAMS（存储表/视图的属性信息）

• 字段介绍

  元数据表字段	说明	示例数据
  TBL_ID	表ID	1
  PARAM_KEY	属性名	totalSize、numRows、EXTERNAL
  PARAM_VALUE	属性值	970107336、21231028、TRUE

3、TBL_PRIVS（存储表、视图的授权信息）

• 字段介绍

  元数据表字段	说明	示例数据
  TBL_GRANT_ID	授权ID	1
  CREATE_TIME	授权时间	1547447342
  GRANT_OPTION		0
  GRANTOR	授权执行用户	zq121444
  GRANTOR_TYPE	授权者类型	USER
  PRINCIPAL_NAME	被授权用户	username
  PRINCIPAL_TYPE	被授权用户类型	USER
  TBL_PRIV	权限	Select、Alter
  TBL_ID	表ID	1，对应TBLS表中的TBL_ID

四、hive文件存储信息相关的元数据表（SDS、SD_PARAMS、SERDES、SERDE_PARAMS）

1、SDS（保存文件存储的基本信息，TBLS表中的SD_LD与本表关联，可以获取hive标的存储信息）

• 字段介绍

  元数据表字段	说明	示例数据
  SD_ID	存储信息ID	1
  CD_ID	字段信息ID	21，对应CDS表
  INPUT_FORMAT	文件输入格式	org.apache.hadoop.mapred.TextInputFormat
  IS_COMPRESSED	是否压缩	0
  IS_STOREDASSUBDIRECTORIES	是否以子目录存储	0
  LOCATION	HDFS路径	hdfs://namenode/hivedata/warehouse/ut.db/t_lxw
  NUM_BUCKETS	分桶数量	5
  OUTPUT_FORMAT	文件输出格式	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
  SERDE_ID	序列化类ID	3，对应SERDES表

2、SD_PARAMS（存储hive存储的属性信息；在创建表时候使用STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定）

• 字段介绍

  元数据表字段	说明	示例数据
  SD_ID	存储配置ID	1
  PARAM_KEY	存储属性名
  PARAM_VALUE	存储属性值

3、SERDES（存储序列化使用的类信息）

• 字段介绍

  元数据表字段	说明	示例数据
  SERDE_ID	序列化类配置ID	1
  NAME	序列化类别名
  SLIB	序列化类	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

4、SERDE_PARAMS（存储序列化的一些属性、格式信息，例：行/列分隔符）

• 字段介绍

  元数据表字段	说明	示例数据
  SERDE_ID	序列化类配置ID	1
  PARAM_KEY	属性名	field.delim
  PARAM_VALUE	属性值	,

五、表字段相关的元数据表（COLUMNS_V2）

• 字段介绍

  元数据表字段	说明	示例数据
  CD_ID	字段信息ID	1
  COMMENT	字段注释
  COLUMN_NAME	字段名	pt
  TYPE_NAME	字段类型	string
  INTEGER_IDX	字段顺序	2

六、表分区相关的元数据表（PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS）

1、PARTITIONS（存储表分区的基本信息）

• 字段介绍

  元数据表字段	说明	示例数据
  PART_ID	分区ID	1
  CREATE_TIME	分区创建时间
  LAST_ACCESS_TIME	最后一次访问时间
  PART_NAME	分区名	day=20190312
  SD_ID	分区存储ID	21
  TBL_ID	表ID	2

2、PARTITION_KEYS（存储分区的字段信息）

• 字段介绍

  元数据表字段	说明	示例数据
  TBL_ID	表ID	2
  PKEY_COMMENT	分区字段说明
  PKEY_NAME	分区字段名	day
  PKEY_TYPE	分区字段类型	string
  INTEGER_IDX	分区字段顺序	1

3、PARTITION_KEY_VALS（存储分区字段值）

• 字段介绍

  元数据表字段	说明	示例数据
  PART_ID	分区ID	2
  PART_KEY_VAL	分区字段值	20190312
  INTEGER_IDX	分区字段值顺序	0

4、PARTITION_PARAMS（存储分区的属性信息）

• 字段介绍

  元数据表字段	说明	示例数据
  PART_ID	分区ID	2
  PARAM_KEY	分区属性名	numFiles、numRows
  PARAM_VALUE	分区属性值	15、502195