Hive学习总结（三）之元数据Metastore

1、元数据

元数据（Metadata），又称中介数据、中继数据，为描述数据的数据（data about data），主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、资源查找、文件记录等功能。元数据算是一种电子式目录，为了达到编制目录的目的，必须在描述并收藏数据的内容或特色，进而达成协助数据检索的目的。

Hive中的Metastore默认存储在自带的derby数据库中，但是我们推荐使用MySQL存储Metastore;因为存储在derby数据库，hive只能开启一个客户端，使用mysql数据库既可以实现多客户端操作。

2、MySQL中Hive数据库相关的元数据表

2.1、DBS表

DBS表中存储Hive中所有数据库的基本信息。

元数据表字段	说明	示例数据
DB_ID	数据库ID	2
DESC	数据库描述	测试库
DB_LOCATION_URI	数据库HDFS路径	hdfs://namenode/user/hive/warehouse/lxw1234.db
NAME	数据库名	lxw1234
OWNER_NAME	数据库所有者用户名	lxw1234
OWNER_TYPE	所有者角色	USER

3、Hive表和视图相关的元数据表

主要有TBLS、TABLE_PARAMS、TBL_PRIVS，这三张表通过TBL_ID关联。

3.1、TBLS表

TBLS表中存储Hive表、视图、索引表的基本信息。

元数据表字段	说明	示例数据
TBL_ID	表ID	8
CREATE_TIME	创建时间	1593333637
DB_ID 数据库ID	对应DBS中的DB_ID	2
LAST_ACCESS_TIME	上次访问时间	0(类似1593333637)
OWNER	所有者	root
RETENTION	保留字段	0
SD_ID 序列化配置信息	对应SDS表中的SD_ID	8
TBL_NAME	表名	emails_text
TBL_TYPE	表类型	MANAGED_TABLE、EXTERNAL_TABLE(外部表)、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT	视图的详细HQL语句	select root.myhive, peoples.name from root.myhive
VIEW_ORIGINAL_TEXT	视图的原始HQL语句	select * from emails_text

4、Hive文件存储信息相关的元数据表

主要涉及SDS、SD_PARAMS、SERDES、SERDE_PARAMS
由于HDFS支持的文件格式很多，而建Hive表时候也可以指定各种文件格式，Hive在将HQL解析成MapReduce时候，需要知道去哪里，使用哪种格式去读写HDFS文件，而这些信息就保存在这几张表中。

4.1、SDS表

SDS表保存文件存储的基本信息，如INPUT_FORMAT、OUTPUT_FORMAT、是否压缩等。
TBLS表中的SD_ID与该表关联，可以获取Hive表的存储信息。

元数据表字段	说明	示例数据
SD_ID	存储信息ID	8
CD_ID 字段信息ID	对应CDS表	23
INPUT_FORMAT	文件输入格式	org.apache.hadoop.mapred.TextInputFormat
IS_COMPRESSED	是否压缩	0
IS_STOREDASSUBDIRECTORIES	是否以子目录存储	0
LOCATION	HDFS路径	hdfs://localhost:9000/user/hive/warehouse/myhive.db/emails_text
NUM_BUCKETS	分桶数量	-1
OUTPUT_FORMAT	文件输出格式	org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat
SERDE_ID 序列化类ID	对应SERDES表	8

4.2、SD_PARAMS表

SD_PARAMS表存储Hive存储的属性信息，在创建表时候使用
STORED BY ‘storage.handler.class.name’ [WITH SERDEPROPERTIES (…)指定。

元数据表字段	说明	示例数据
SD_ID	存储配置ID	1
PARAM_KEY	存储属性名
PARAM_VALUE	存储属性值

4.3、SERDES表

SERDES表存储序列化使用的类信息

元数据表字段	说明	示例数据
SERDE_ID	序列化类配置ID	8
NAME	序列化类别名
SLIB	序列化类	org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe

4.4、SERDE_PARAMS表

SERDE_PARAMS表存储序列化的一些属性、格式信息,比如：行、列分隔符

元数据表字段	说明	示例数据
SERDE_ID	序列化类配置ID	8
PARAM_KEY	属性名	field.delim
PARAM_VALUE	属性值	,

5、Hive表分区相关的元数据表

主要涉及PARTITIONS、PARTITION_KEYS、PARTITION_KEY_VALS、PARTITION_PARAMS

5.1、PARTITIONS表

PARTITIONS表存储表分区的基本信息。

元数据表字段	说明	示例数据
PART_ID	分区ID
CREATE_TIME	分区创建时间
LAST_ACCESS_TIME	最后一次访问时间
PART_NAME	分区名	pt=
SD_ID	分区存储ID
TBL_ID	表ID

5.2、PARTITION_KEYS表

PARTITION_KEYS表存储分区的字段信息。

元数据表字段	说明	示例数据
TBL_ID	表ID
PKEY_COMMENT	分区字段说明
PKEY_NAME	分区字段名	pt
PKEY_TYPE	分区字段类型	string
INTEGER_IDX	分区字段顺序	1

5.3、PARTITION_KEY_VALS表

PARTITION_KEY_VALS表存储分区字段值。

元数据表字段	说明	示例数据
PART_ID	分区ID
PART_KEY_VAL	分区字段值
INTEGER_IDX	分区字段值顺序

5.4、PARTITION_PARAMS表

PARTITION_PARAMS表存储分区的属性信息。

元数据表字段	说明	示例数据
PART_ID	分区ID
PARAM_KEY	分区属性名
PARAM_VALUE	分区属性值