Hive修复分区

Hive修复分区

简介

Hive的MSCK REPAIR TABLE命令用于修复（即添加丢失的）表分区。通常用于那些已在HDFS中存在，但尚未在Hive元数据中注册的分区。

当你在HDFS文件系统中手动添加或删除分区目录，Hive并不会自动识别这些更改。为同步元数据与实际文件系统之间的状态，可用命令：

MSCK REPAIR TABLE table_name;

较老Hive版本，用旧命令：

ALTER TABLE table_name RECOVER PARTITIONS;

执行后，Hive会检查表的分区列在HDFS中的路径，并将在HDFS中找到但Hive元数据中缺失的分区添加到元数据中。这样，当你查询那些分区时，Hive就能够正确地检索到数据。

这个命令并不会修复损坏的分区文件；如果分区文件损坏或丢失，你需要从备份中恢复或重新计算分区数据。MSCK REPAIR TABLE只是同步元数据与文件系统的状态，不会更改实际的文件。

手动删除分区目录，会恢复吗？

若你在HDFS中手动删除了一个分区目录，执行MSCK REPAIR TABLE命令并不会恢复已被删除的分区目录或数据。MSCK REPAIR TABLE命令的作用是同步Hive元数据与HDFS上当前的实际文件系统状态，它会添加那些存在于HDFS上但尚未在Hive元数据中注册的分区。

在你手动删除HDFS上的一个分区目录的情况下，执行MSCK REPAIR TABLE命令将会从Hive元数据中移除对应这个已删除目录的分区信息，因为该命令会发现HDFS上不再有这个分区的目录，并更新Hive元数据以反映这个变化。

若希望恢复被删除的分区数据，你要从备份中恢复数据或者重新计算并重新写入这些分区数据到HDFS中。一旦数据在HDFS中被恢复或重新放置，你可再运行MSCK REPAIR TABLE更新Hive元数据，使其包含新恢复的分区信息。

总结

MSCK REPAIR TABLE用于同步Hive元数据，不能用来恢复在HDFS中被删除的数据。

获取更多干货内容，记得关注我哦。

本文由 mdnice 多平台发布