hive元数据解析、并且提取表结构

hive所有的表结构信息都存储在metastore中,而所有的数据都存储在hdfs之上,所以我们想要获得表结构信息,就需要知道hive的元数据中每个表的含义和结构。

在hive中,有简单的命令可以大概的查看表的结构信息:

describe formatted tableName;

hive metastore表结构如下:

表名 说明 关联键
TBLS 所有hive表的基本信息 TBL_ID,SD_ID
TABLE_PARAM 表级属性,如是否外部表,表注释等 TBL_ID
COLUMNS Hive表字段信息(字段注释,字段名,字段类型,字段序号) SD_ID
SDS 所有hive表、表分区所对应的hdfs数据目录和数据格式 SD_ID,SERDE_ID
SERDE_PARAM 序列化反序列化信息,如行分隔符、列分隔符、NULL的表示字符等 SERDE_ID
PARTITIONS Hive表分区信息 PART_ID,SD_ID,TBL_ID
PARTITION_KEYS Hive分区表分区键 TBL_ID
PARTITION_KEY_VALS

参考:

获取hive建表语句

HIVE元数据

 

 

 

你可能感兴趣的:(hive元数据解析、并且提取表结构)