Hive学习笔记10@元数据解析

Hive元数据不存放在Hdfs上，而是存放在RDBMS上，典型的如Mysql、Derby等。

Mysql元数据库

查看元数据库

use hive;   //使用 hive 数据库库

show tables;

 

mysql> show tables;

+---------------------------+

| Tables_in_hive            |

+---------------------------+

| BUCKETING_COLS            |

| CDS                       |

| COLUMNS_V2                |

| DATABASE_PARAMS           |

| DBS                       |

| FUNCS                     |

| FUNC_RU                   |

| GLOBAL_PRIVS              |

| IDXS                      |

| INDEX_PARAMS              |

| PARTITIONS                |

| PARTITION_KEYS            |

| PARTITION_KEY_VALS        |

| PARTITION_PARAMS          |

| PART_COL_PRIVS            |

| PART_COL_STATS            |

| PART_PRIVS                |

| ROLES                     |

| SDS                       |

| SD_PARAMS                 |

| SEQUENCE_TABLE            |

| SERDES                    |

| SERDE_PARAMS              |

| SKEWED_COL_NAMES          |

| SKEWED_COL_VALUE_LOC_MAP  |

| SKEWED_STRING_LIST        |

| SKEWED_STRING_LIST_VALUES |

| SKEWED_VALUES             |

| SORT_COLS                 |

| TABLE_PARAMS              |

| TAB_COL_STATS             |

| TBLS                      |

| TBL_COL_PRIVS             |

| TBL_PRIVS                 |

| VERSION                   |

+---------------------------+

元数据表说明

表名	表说明	关联键
COLUMNS_V2	Hive表字段信息(字段注释，字段名，字段类型，字段序号)	CD_ID
DBS	元数据库信息（数据库描述、数据库LOCATION_URI，名称等）
PARTITIONS	Hive表分区信息
PARTITION_KEYS	Hive分区表分区键
PARTITION_KEY_VALS	Hive表分区名(键值)
SDS	所有hive表、表分区所对应的hdfs数据目录和数据格式	SD_ID，CD_ID
SEQUENCE_TABLE	Hive序列信息（序列名称，序列值）
SERDE_PARAM	序列化反序列化信息，如行分隔符、列分隔符、NULL的表示字符等
TABLE_PARAMS	表级属性，如是否外部表，表注释等
TBLS	hive表的基本信息

 

Hive创建表过程

解析用户提交hive语句，对其进行解析，分解为表、字段、分区等hive对象；

根据解析到的信息构建对应的表、字段、分区等对象，从SEQUENCE_TABLE中获取构建对象的最新ID，与构建对象信息(名称，类型等)一同通过DAO方法写入到元数据表中去，成功后将SEQUENCE_TABLE中对应的最新ID+5。